KubeSphere 最佳实战:Kubernetes 部署集群模式 Nacos 实战指南
2024/10/22 21:03:07
本文主要是介绍KubeSphere 最佳实战:Kubernetes 部署集群模式 Nacos 实战指南,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
Nacos 是 Dynamic Naming and Configuration Service 的首字母简称,一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。
Nacos 是构建以服务为中心的现代应用架构 (例如微服务范式、云原生范式) 的服务基础设施。更多的功能特性介绍请查看 Nacos 概览。
在本文中,我将为您提供一份全面的实战指南,详细地指导您如何在 Kubernetes 集群中部署以集群模式运行的 Nacos 服务。
实战服务器配置(架构1:1复刻小规模生产环境,配置略有不同)
主机名 | IP | CPU | 内存 | 系统盘 | 数据盘 | 用途 |
---|---|---|---|---|---|---|
ksp-registry | 192.168.9.90 | 4 | 8 | 40 | 200 | Harbor 镜像仓库 |
ksp-control-1 | 192.168.9.91 | 4 | 8 | 40 | 100 | KubeSphere/k8s-control-plane |
ksp-control-2 | 192.168.9.92 | 4 | 8 | 40 | 100 | KubeSphere/k8s-control-plane |
ksp-control-3 | 192.168.9.93 | 4 | 8 | 40 | 100 | KubeSphere/k8s-control-plane |
ksp-worker-1 | 192.168.9.94 | 8 | 16 | 40 | 100 | k8s-worker/CI |
ksp-worker-2 | 192.168.9.95 | 8 | 16 | 40 | 100 | k8s-worker |
ksp-worker-3 | 192.168.9.96 | 8 | 16 | 40 | 100 | k8s-worker |
ksp-storage-1 | 192.168.9.97 | 4 | 8 | 40 | 400+ | ElasticSearch/Longhorn/Ceph/NFS |
ksp-storage-2 | 192.168.9.98 | 4 | 8 | 40 | 300+ | ElasticSearch/Longhorn/Ceph |
ksp-storage-3 | 192.168.9.99 | 4 | 8 | 40 | 300+ | ElasticSearch/Longhorn/Ceph |
ksp-gpu-worker-1 | 192.168.9.101 | 4 | 16 | 40 | 100 | k8s-worker(GPU NVIDIA Tesla M40 24G) |
ksp-gpu-worker-2 | 192.168.9.102 | 4 | 16 | 40 | 100 | k8s-worker(GPU NVIDIA Tesla P100 16G) |
ksp-gateway-1 | 192.168.9.103 | 2 | 4 | 40 | 自建应用服务代理网关/VIP:192.168.9.100 | |
ksp-gateway-2 | 192.168.9.104 | 2 | 4 | 40 | 自建应用服务代理网关/VIP:192.168.9.100 | |
ksp-mid | 192.168.9.105 | 4 | 8 | 40 | 100 | 部署在 k8s 集群之外的服务节点(Gitlab 等) |
合计 | 15 | 68 | 152 | 600 | 2100+ |
实战环境涉及软件版本信息
- 操作系统:openEuler 22.03 LTS SP3 x86_64
- KubeSphere:v3.4.1
- Kubernetes:v1.28.8
- KubeKey: v3.1.1
- MySQL:v5.7.44
- Nacos: v2.4.2.1
1. 部署方案规划
1.1 部署架构图
1.2 准备 Nacos 部署资源
- 创建部署资源根目录
mkdir /srv/nacos cd /srv/nacos
- 获取官方资源配置清单
# wget 方式(推荐) wget https://codeload.github.com/nacos-group/nacos-k8s/zip/refs/heads/master -O nacos-k8s-master.zip # git 方式 git clone https://github.com/nacos-group/nacos-k8s.git
- 获取初始化数据库文件
wget https://raw.githubusercontent.com/alibaba/nacos/refs/heads/master/distribution/conf/mysql-schema.sql
1.3 准备 MySQL
Nacos 需要使用 MySQL,本文使用更加贴近生产的 MySQL 主从复制方案部署 MySQL,具体可以参考 一文搞定,在 Kubernetes 集群上部署主从复制 MySQL 。
提示: 也可以使用官方提供的资源清单
deploy/mysql/mysql-nfs.yaml
,部署单机版的 MySQL 服务。
Step 1:导入 MySQL 初始化数据
- 进入 MySQL 主节点容器内部。
$ kubectl exec -it mysql-source-0 -- mysql -u root -p Enter password: Welcome to the MySQL monitor. Commands end with ; or \g. Your MySQL connection id is 2 Server version: 5.7.44-log MySQL Community Server (GPL) Copyright (c) 2000, 2023, Oracle and/or its affiliates. Oracle is a registered trademark of Oracle Corporation and/or its affiliates. Other names may be trademarks of their respective owners. Type 'help;' or '\h' for help. Type '\c' to clear the current input statement. mysql>
- 创建数据库及 Nacos 用户。
-- 创建数据库 mysql> CREATE DATABASE IF NOT EXISTS `nacos` DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_unicode_ci; -- 创建用户 mysql> CREATE USER 'nacos'@'%' IDENTIFIED BY 'ChangeMe'; -- 赋予权限 mysql> GRANT ALL PRIVILEGES ON `nacos`.* TO 'nacos'@'%'; -- 刷新权限 mysql> FLUSH PRIVILEGES;
- 导入数据(无需登录容器内部)。
# 进入数据库初始化 sql 文件目录 $ cd /srv/nacos/ # 导入数据 kubectl exec -i mysql-source-0 -- mysql -S /var/lib/mysql/mysql.sock -u nacos -pChangeMe nacos < mysql-schema.sql
Step 2:查看导入的数据
- 登陆 MySQL 主节点容器内部。
$ kubectl exec -it mysql-source-0 -- mysql -u nacos -p Enter password:
- 查看数据库。
mysql> show databases; +--------------------+ | Database | +--------------------+ | information_schema | | nacos | +--------------------+ 2 rows in set (0.01 sec)
- 查看表。
# 切换数据库 mysql> use nacos; Database changed # 查看表 mysql> show tables; +----------------------+ | Tables_in_nacos | +----------------------+ | config_info | | config_info_aggr | | config_info_beta | | config_info_tag | | config_tags_relation | | group_capacity | | his_config_info | | permissions | | roles | | tenant_capacity | | tenant_info | | users | +----------------------+ 12 rows in set (0.00 sec)
从结果中可以看到执行 mysql-schema.sql
后,自动创建了 Nacos 服务的相关表和数据。
1.4 准备持久化存储
本实战环境使用 NFS 作为 K8s 集群的持久化存储,如果是新集群可以参考《探索 Kubernetes 持久化存储之 NFS 终极实战指南》 部署 NFS 存储。
提示: 也可以使用官方提供的 deploy/nfs/
目录下的资源清单,部署单机版的 NFS 服务。
2. 集群模式 Nacos 部署
2.1 修改配置文件
- 解压部署代码。
$ cd /srv/nacos $ unzip nacos-k8s-master.zip $ cd nacos-k8s-master/deploy/nacos
- 编辑 nacos-pvc-nfs.yaml,修改数据库配置。
data: mysql.host: "mysql-source-headless.default.svc.cluster.local" # 数据库地址,本文使用 MySQL 服务在 k8s 集群内的 DNS 域名 mysql.db.name: "nacos" mysql.port: "3306" mysql.user: "nacos" mysql.password: "ChangeMe"
- 修改 StoreClass 名称(可选,自建 NFS 存储时使用)。
默认的配置文件使用的 StoreClass 名称为 managed-nfs-storage,使用下面的命令修改为实际的值。
$ sed -i 's/managed-nfs-storage/nfs-sc/g' nacos-pvc-nfs.yaml
- 删除 serviceAccountName(可选,自建 NFS 存储时使用)。
sed -i '/serviceAccountName/d' nacos-pvc-nfs.yaml
- 修改镜像地址(可选,镜像下载受限或是离线部署时可用)。
sed -i 's#nacos/nacos-peer-finder-plugin:1.1#registry.opsxlab.cn:8443/nacos/nacos-peer-finder-plugin:1.1#g' nacos-pvc-nfs.yaml sed -i 's#nacos/nacos-server:latest#registry.opsxlab.cn:8443/nacos/nacos-server:v2.4.2.1#g' nacos-pvc-nfs.yaml
- 开启鉴权配置(建议)。
Nacos 默认配置没有开启鉴权,生产环境建议开启。在 containers.env
部分增加下面的内容:
- name: NACOS_AUTH_ENABLE value: "true" - name: NACOS_AUTH_TOKEN value: "SecretKeyYzJlMTMxOTU5ZTljZTkxZGQ2MDcwZGIxMzU1YTFkMjg=" - name: NACOS_AUTH_IDENTITY_KEY value: "serverIdentity" - name: NACOS_AUTH_IDENTITY_VALUE value: "ChangeMe"
注意: 自定义 NACOS_AUTH_TOKEN
密钥时,推荐将配置项设置为Base64 编码的字符串,且原始密钥长度不得低于32字符。
可以执行下面的命令生成TOKEN 密钥:
echo -n $(openssl rand -hex 16) | base64 -w0
2.2 部署 Nacos 集群
- 执行下面的命令,创建 Nacos。
$ kubectl create -f nacos-pvc-nfs.yaml
正确执行后,输出结果如下 :
$ kubectl create -f nacos-pvc-nfs.yaml service/nacos-headless created configmap/nacos-cm created statefulset.apps/nacos created
- 验证 Nacos 节点状态。
$ kubectl get pod -l app=nacos -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES nacos-0 1/1 Running 0 25s 10.233.96.233 ksp-worker-3 <none> <none> nacos-1 1/1 Running 0 25s 10.233.94.125 ksp-worker-1 <none> <none> nacos-2 1/1 Running 0 25s 10.233.68.221 ksp-worker-2 <none> <none>
2.3 配置 K8s 集群外部访问
我们采用 NodePort 方式在 Kubernetes 集群中对外发布 Nacos 服务,以便管理员能够访问图形化控制台,同时也为集群外的应用提供服务,指定的端口为 31848。
使用 vi
编辑器,新建 NodePort 服务资源清单文件 nacos-external.yaml
,并输入以下内容:
kind: Service apiVersion: v1 metadata: name: nacos-external labels: app: nacos-external spec: ports: - protocol: TCP port: 8848 targetPort: 8848 nodePort: 31848 selector: app: nacos type: NodePort
2.4 设置管理员密码
自 2.4.0 版本开始,Nacos构建时不再提供管理员用户nacos
的默认密码,需要在首次开启鉴权后,通过 API 或 Nacos 控制台进行管理员用户nacos
的密码初始化。
本文选择 Nacos 控制台的方式初始化密码,当 Nacos 集群开启鉴权后,访问 Nacos 控制台时,会校验管理员用户nacos
的密码是否已经初始化,若发现未初始化密码时,则会跳转至初始化密码的页面进行初始化。
在该页面密码文本框内输入自定义密码,然后点击提交即可。
注意: 若密码文本框内未输入自定义密码或输入空白密码,Nacos 将会生成随机密码,请保存好生成的随机密码。
初始化成功后会弹窗提示初始化成功,并明文展示指定的密码或随机生成的密码,请保存好此密码。
点击「确定」后,会跳转到登录页面,并弹出权限认证失败的提示框。
点击「确定」后,输入 nacos 用户名和对应的密码。
登录成功后,进入「配置管理」页面。
3. 验证测试 Nacos 服务是否正确配置
使用 curl 命令,在 K8s 集群外的机器上调用 Nacos API 接口,通过 Nacos 对外服务对应的 NodePort 端口,验证测试 Nacos 服务是否正常。
3.1 获取 Token
首先,使用用户名和密码登陆 nacos,若用户名和密码正确,会返回 Token 信息。
curl -X POST 'http://192.168.9.91:31848/nacos/v1/auth/login' -d 'username=nacos&password=ChangeMe'
正确执行后,返回的结果如下:
{"accessToken":"eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI","tokenTtl":18000,"globalAdmin":true,"username":"nacos"}
3.2 服务注册
curl -X POST 'http://192.168.9.91:31848/nacos/v1/ns/instance?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI&serviceName=nacos.naming.serviceName&ip=192.168.9.81&port=8080'
3.3 服务发现
curl -X GET 'http://192.168.9.91:31848/nacos/v1/ns/instance/list?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI&serviceName=nacos.naming.serviceName'
正确执行后,返回的结果如下:
{"name":"DEFAULT_GROUP@@nacos.naming.serviceName","groupName":"DEFAULT_GROUP","clusters":"","cacheMillis":10000,"hosts":[],"lastRefTime":1727692102280,"checksum":"","allIPs":false,"reachProtectionThreshold":false,"valid":true}[
3.4 发布配置
curl -X POST "http://192.168.9.91:31848/nacos/v1/cs/configs?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI&dataId=nacos.cfg.dataId&group=test&content=helloWorld"
3.5 获取配置
curl -X GET "http://192.168.9.91:31848/nacos/v1/cs/configs?accessToken=eyJhbGciOiJIUzI1NiJ9.eyJzdWIiOiJuYWNvcyIsImV4cCI6MTcyNzcwOTk0Mn0.Ki2kgZyh_dj_Zfb9HKPCkKr1cgWfi3szQS4hlZPIwkI&dataId=nacos.cfg.dataId&group=test"
正确执行后,返回的结果如下:
helloWorld
3.6 Nacos 控制台查看
- 配置管理列表
- 配置详情
至此,我们完成了在 KubeSphere 管理的 Kubernetes 集群上手动部署 Nacos 集群的全过程,后续的配置管理请根据实际应用的需求进行配置。
免责声明:
- 笔者水平有限,尽管经过多次验证和检查,尽力确保内容的准确性,但仍可能存在疏漏之处。敬请业界专家大佬不吝指教。
- 本文所述内容仅通过实战环境验证测试,读者可学习、借鉴,但严禁直接用于生产环境。由此引发的任何问题,作者概不负责!
本文内容首发:运维有术。
关于 KubeSphere
KubeSphere (https://kubesphere.io)是在 Kubernetes 之上构建的开源容器平台,提供全栈的 IT 自动化运维的能力,简化企业的 DevOps 工作流。
KubeSphere 已被 Aqara 智能家居、本来生活、东方通信、微宏科技、东软、华云、新浪、三一重工、华夏银行、四川航空、国药集团、微众银行、紫金保险、去哪儿网、中通、中国人民银行、中国银行、中国人保寿险、中国太平保险、中国移动、中国联通、中国电信、天翼云、中移金科、Radore、ZaloPay 等海内外数万家企业采用。KubeSphere 提供了开发者友好的向导式操作界面和丰富的企业级功能,包括 Kubernetes 多云与多集群管理、DevOps (CI/CD)、应用生命周期管理、边缘计算、微服务治理 (Service Mesh)、多租户管理、可观测性、存储与网络管理、GPU support 等功能,帮助企业快速构建一个强大和功能丰富的容器云平台。
✨ GitHub:https://github.com/kubesphere
💻 官网(中国站):https://kubesphere.io/zh
🙋 论坛:https://ask.kubesphere.io/forum/
👨💻 微信群:请搜索添加群助手微信号 kubesphere
本文由博客一文多发平台 OpenWrite 发布!
这篇关于KubeSphere 最佳实战:Kubernetes 部署集群模式 Nacos 实战指南的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-10-30K8s 容器的定向调度与亲和性
- 2024-10-28云原生周刊:K8s未来三大发展方向 丨2024.10.28
- 2024-10-25亚马逊弹性Kubernetes服务(EKS)实战:轻松搭建Kubernetes平台
- 2024-10-10K8sGPT+Ollama:一个免费的Kubernetes自动诊断工具
- 2024-10-10Kubernetes:容器技术和所谓的“丢失”的SIGTERM信号(终止信号)
- 2024-10-08在 Azure Kubernetes 上运行 Ollama
- 2024-09-2610 个你不知道自己需要的 Kubernetes 工具
- 2024-09-25MicroK8s 概览 — 使用一条命令部署自己的 Kubernetes 集群
- 2024-08-19云原生周刊:Kubernetes v1.31 发布
- 2024-08-13探索 Kubernetes 持久化存储之 Rook Ceph 初窥门径