3.2.1etcd数据库
2021/7/26 2:09:50
本文主要是介绍3.2.1etcd数据库,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!
一直有这个冲动,
想知道kubernetes往etcd里放了哪些数据,是如何组织的。
能看到,才有把握知道它的实现和细节。
找了很多文档,终于找到靠谱的。
我是使用kubeadm工具安装的集群,要解除集群的资源占用要先把一些容器停掉,把kube-apiserver的编排文件从/etc/kubernetes/manifests/目录下先移出来,kubelet检查到会停止相应的pods,没有了kube-apiserver集群不会再创建新的pods,这时kubectl不可用了,使用docker命令把spinnaker项目的容器都删掉系统资源就能空闲出来。这时etcd还是正常的,用docker工具直接进入etcd。
操作etcd有命令行工具etcdctl,有两个api版本互不兼容的,系统默认的v2版本,kubernetes集群使用的是v3版本,v2版本下是看不到v3版本的数据的,我也是找了些资料才了解这个情况。
使用环境变量定义api版本
#设置etcdctl为v3版本 export ETCDCTL_API=3 #设置etcd的端点信息,即etcd集群的ip:port,以逗号分隔 export ETCDCTL_ENDPOINTS=https://192.168.31.71:2379,https://192.168.31.72:2379,https://192.168.31.73:2379 #设置证书的环境变量 export ETCDCTL_CACERT=/opt/etcd/ssl/ca.pem export ETCDCTL_CERT=/opt/etcd/ssl/server.pem export ETCDCTL_KEY=/opt/etcd/ssl/server-key.pem
etcd有目录结构类似linux文件系统,获取所有key看一看:
etcdctl get / --prefix --keys-only
*一看就可以大概理解kubenetes的数据结构了,查询命名空间下所有部署的数据:
etcdctl get /registry/deployments/default --prefix --keys-only
把想删除的删掉,列如:
etcdctl del /registry/deployments/default/elevated-dragonfly-spinn-front50
删除deployments,pods这可以了,稍微减少一些资源,让kube-apiserver可以正常工作即可,其它资源还可以使用kubectl工具删除
删掉些资源后退出etcd把kube-apiserver的编排文件放回/etc/kubernetes/manifests目录,服务会再次启动,然后再清理重新部署。
查看etcd版本
etcdctl version
是一个开源的分布式键值对数据库,他的每一个节点都有一份数据的copy,当有节点故障时保证了高可用性。etcd使用Raft算法来保证一致性。
第一次接触etcd是在学习k8s时。k8s用etcd做的服务发现。后来在开发一个分布式系统时需要用到服务发现,就想试一下用etcd做服务发现。效果还是很不错的。
这篇讲一下etcd集群的搭建和使用。
集群的节点个数和容错
官方推荐的集群个数为奇数个,如图当节点为3个和为4个时的容错都是1, 节点5个和6个时,容错为2...
集群的节点越多,容错性会越强,但是数据的同步份数也会越多,写性能会变差一些。合理的集群大小,就是平衡容错性和可写性。
安装集群
准备三台服务器
192.168.31.71 | etcd0 |
---|---|
192.168.31.72 | etcd1 |
192.168.31.73 | etcd2 |
分别在三台服务器上下载etcd。这里下载的是版本3.3.8
ETCD_VER=v3.3.8 GITHUB_URL=https://github.com/coreos/etcd/releases/download DOWNLOAD_URL=${GITHUB_URL} rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz rm -rf /tmp/etcd-download-test && mkdir -p /tmp/etcd-download-test curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz tar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/etcd-download-test --strip-components=1 rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz /tmp/etcd-download-test/etcd --version ETCDCTL_API=3 /tmp/etcd-download-test/etcdctl version
然后将两个文件都放到系统可执行目录 /usr/local/bin/ 或 /usr/bin/
cd /tmp/etcd-download-test sudo cp etcd* /usr/local/bin/
创建一个文件夹用来保存etcd的数据
sudo mkdir -p /data/etcd sudo chown -R root:$(whoami) /data/etcd sudo chmod -R a+rw /data/etcd
在这里我使用static方式去搭建服务。
编写systemd服务文件,分别在每台机器上编写服务文件:
cat > /tmp/etcd0.service <<EOF [Unit] Description=etcd Documentation=https://github.com/coreos/etcd Conflicts=etcd.service Conflicts=etcd2.service [Service] Type=notify Restart=always RestartSec=5s LimitNOFILE=40000 TimeoutStartSec=0 ExecStart=/usr/local/bin/etcd --name etcd0 \ --data-dir /data/etcd \ --initial-advertise-peer-urls http://172.31.43.166:2380 \ --listen-peer-urls http://172.31.43.166:2380 \ --listen-client-urls http://172.31.43.166:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://172.31.43.166:2379 \ --initial-cluster-token etcd-cluster-pro \ --initial-cluster etcd0=http://172.31.43.166:2380,etcd1=http://172.31.43.114:2380,etcd2=http://172.31.34.237:2380 \ --initial-cluster-state new [Install] WantedBy=multi-user.target EOF sudo mv /tmp/etcd0.service /etc/systemd/system/etcd0.service
cat > /tmp/etcd1.service <<EOF [Unit] Description=etcd Documentation=https://github.com/coreos/etcd Conflicts=etcd.service Conflicts=etcd2.service [Service] Type=notify Restart=always RestartSec=5s LimitNOFILE=40000 TimeoutStartSec=0 ExecStart=/usr/local/bin/etcd --name etcd1 \ --data-dir /data/etcd \ --initial-advertise-peer-urls http://172.31.43.114:2380 \ --listen-peer-urls http://172.31.43.114:2380 \ --listen-client-urls http://172.31.43.114:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://172.31.43.114:2379 \ --initial-cluster-token etcd-cluster-pro \ --initial-cluster etcd0=http://172.31.43.166:2380,etcd1=http://172.31.43.114:2380,etcd2=http://172.31.34.237:2380 \ --initial-cluster-state new [Install] WantedBy=multi-user.target EOF sudo mv /tmp/etcd1.service /etc/systemd/system/etcd1.service
cat > /tmp/etcd2.service <<EOF [Unit] Description=etcd Documentation=https://github.com/coreos/etcd Conflicts=etcd.service [Service] Type=notify Restart=always RestartSec=5s LimitNOFILE=40000 TimeoutStartSec=0 ExecStart=/usr/local/bin/etcd -name etcd2 \ --data-dir /data/etcd \ --initial-advertise-peer-urls http://172.31.34.237:2380 \ --listen-peer-urls http://172.31.34.237:2380 \ --listen-client-urls http://172.31.34.237:2379,http://127.0.0.1:2379 \ --advertise-client-urls http://172.31.34.237:2379 \ --initial-cluster-token etcd-cluster-pro \ --initial-cluster etcd0=http://172.31.43.166:2380,etcd1=http://172.31.43.114:2380,etcd2=http://172.31.34.237:2380 \ --initial-cluster-state new [Install] WantedBy=multi-user.target EOF sudo mv /tmp/etcd2.service /etc/systemd/system/etcd2.service
下面是一些常用配置选项的说明:
--name:方便理解的节点名称,默认为 default,在集群中应该保持唯一
--data-dir:服务运行数据保存的路径,默认为 ${name}.etcd
--snapshot-count:指定有多少事务(transaction)被提交时,触发截取快照保存到磁盘
--heartbeat-interval:leader 多久发送一次心跳到 followers。默认值是 100ms
--eletion-timeout:重新投票的超时时间,如果follower在该时间间隔没有收到心跳包,会触发重新投票,默认为 1000 ms
--listen-peer-urls:和同伴通信的地址,比如 http://ip:2380,如果有多个,使用逗号分隔。需要所有节点都能够访问,所以不要使用 localhost
--advertise-client-urls:对外公告的该节点客户端监听地址,这个值会告诉集群中其他节点
--listen-client-urls:对外提供服务的地址:比如 http://ip:2379,http://127.0.0.1:2379,客户端会连接到这里和etcd交互
--initial-advertise-peer-urls:该节点同伴监听地址,这个值会告诉集群中其他节点
--initial-cluster:集群中所有节点的信息,格式为 node1=http://ip1:2380,node2=http://ip2:2380,…。需要注意的是,这里的 node1 是节点的--name指定的名字;后面的ip1:2380 是--initial-advertise-peer-urls 指定的值
--initial-cluster-state:新建集群的时候,这个值为 new;假如已经存在的集群,这个值为existing
--initial-cluster-token:创建集群的token,这个值每个集群保持唯一。这样的话,如果你要重新创建集群,即使配置和之前一样,也会再次生成新的集群和节点 uuid;否则会导致多个集群之间的冲突,造成未知的错误
所有以--init开头的配置都是在第一次启动etcd集群的时候才会用到,后续节点的重启会被忽略,如--initial-cluseter参数。所以当成功初始化了一个etcd集群以后,就不再需要这个参数或环境变量了。
如果服务已经运行过就要把修改 --initial-cluster-state 为existing
启用服务
sudo systemctl daemon-reload sudo systemctl enable etcd0.service sudo systemctl start etcd0.service sudo systemctl daemon-reload sudo systemctl enable etcd1.service sudo systemctl start etcd1.service sudo systemctl daemon-reload sudo systemctl enable etcd2.service sudo systemctl start etcd2.service
查看 log:
sudo systemctl status etcd0.service -l --no-pager sudo journalctl -u etcd0.service -l --no-pager|less sudo journalctl -f -u etcd0.service sudo systemctl status etcd1.service -l --no-pager sudo journalctl -u etcd1.service -l --no-pager|less sudo journalctl -f -u etcd1service sudo systemctl status etcd2.service -l --no-pager sudo journalctl -u etcd2.service -l --no-pager|less sudo journalctl -f -u etcd2.service
暂停
sudo systemctl stop etcd0.service sudo systemctl disable etcd0.service sudo systemctl stop etcd1.service sudo systemctl disable etcd1.service sudo systemctl stop etcd2.service sudo systemctl disable etcd2.service
使用etcd
我使用的etcd的api为v3版本。在使用命令时需要在前面加上ETCDCTL_API=3
如:查看集群成员
ETCDCTL_API=3 etcdctl member list
可以看到有3个节点在线
集群状态
etcdctl endpoint status --write-out="table"
操作数据
使用put和get命令可以保存和得到数据.del删除数据
根据前缀查询
ETCDCTL_API=3 etcdctl put test1 a ETCDCTL_API=3 etcdctl put test2 b ETCDCTL_API=3 etcdctl put test3 c ETCDCTL_API=3 etcdctl get --prefix test
查询所有数据
ETCDCTL_API=3 etcdctl get --from-key ""
watch 监听
watch 会监听key的变动 有变动时会在输出。这也正是服务发现需要使用的。
我们监听 test键,然后对test执行修改和删除操作
ETCDCTL_API=3 etcdctl watch test
ETCDCTL_API=3 etcdctl put test abcde ETCDCTL_API=3 etcdctl put test aaaa ETCDCTL_API=3 etcdctl del test
lead 租约
etcd可以为key设置超时时间,但与redis不同,etcd需要先创建lease,然后使用put命令加上参数–lease=
ETCDCTL_API=3 lease grant ttl 创建lease,返回lease ID ttl秒
ETCDCTL_API=3 lease revoke leaseId 删除lease,并删除所有关联的key
ETCDCTL_API=3 lease timetolive leaseId 取得lease的总时间和剩余时间
ETCDCTL_API=3 lease keep-alive leaseId keep-alive会不间断的刷新lease时间,从而保证lease不会过期。
分布式锁
使用lock命令后加锁名称 做分布式锁,如果没有显示释放锁,其他地方只能等待。
etcdctl --endpoints=$ENDPOINTS lock mutex1 # 在另一个终端输入 etcdctl --endpoints=$ENDPOINTS lock mutex1
/ # etcd --version etcd Version: 3.3.8 Git SHA: 33245c6b5 Go Version: go1.9.7 Go OS/Arch: linux/amd64 / # etcdctl --help NAME: etcdctl - A simple command line client for etcd3. USAGE: etcdctl VERSION: 3.2.10 API VERSION: 3.2 COMMANDS: get Gets the key or a range of keys #获取键或键的范围 put Puts the given key into the store ##将给定的键放入存储 del Removes the specified key or range of keys [key, range_end) ##删除指定的键或键范围[key, range_end) txn Txn processes all the requests in one transaction ## txn在一个事务中处理所有请求 compaction Compacts the event history in etcd ## 将etcd中的事件历史记录压缩 alarm disarm Disarms all alarms ##解除所有警报 alarm list Lists all alarms ##告警列表列出所有告警信息 defrag Defragments the storage of the etcd members with given endpoints ##整理碎片整理具有给定端点的etcd成员的存储碎片 endpoint health Checks the healthiness of endpoints specified in `--endpoints` flag ##端点运行状况检查“--endpoints”标志中指定的端点的运行状况 endpoint status Prints out the status of endpoints specified in `--endpoints` flag ##端点状态打印'——endpoints '标志中指定的端点状态 watch Watches events stream on keys or prefixes ##监视键或前缀上的事件流 version Prints the version of etcdctl ##version打印etcdctl的版本 lease grant Creates leases ## 批地租约创建租约 lease revoke Revokes leases ##lease revoke撤消租赁 lease timetolive Get lease information ## lease timetolive获取租赁信息 lease keep-alive Keeps leases alive (renew) ##lease keep-alive使租约保持有效(更新) member add Adds a member into the cluster ##成员添加向集群中添加一个成员 member remove Removes a member from the cluster ##成员移除从集群中移除一个成员 member update Updates a member in the cluster ##成员更新更新集群中的成员 member list Lists all members in the cluster ##列出集群中的所有成员 snapshot save Stores an etcd node backend snapshot to a given file ##将etcd节点后端快照存储到给定文件 snapshot restore Restores an etcd member snapshot to an etcd directory ##将etcd成员快照恢复到etcd目录 snapshot status Gets backend snapshot status of a given file ##获取给定文件的后端快照状态 make-mirror Makes a mirror at the destination etcd cluster ##在目标etcd集群上做一个镜像 migrate Migrates keys in a v2 store to a mvcc store ##将v2存储中的键迁移到mvcc存储中 lock Acquires a named lock ##获取一个命名的锁 elect Observes and participates in leader election ##观察并参与领导人选举 auth enable Enables authentication ##启用认证功能 auth disable Disables authentication ##禁用认证 user add Adds a new user ##添加一个新用户 user delete Deletes a user ##删除用户 user get Gets detailed information of a user ##获取用户的详细信息 user list Lists all users ##列出所有用户 user passwd Changes password of user ##修改用户密码 user grant-role Grants a role to a user ##授予用户角色 user revoke-role Revokes a role from a user ##取消用户的角色 role add Adds a new role ##添加新角色 role delete Deletes a role ##删除角色 role get Gets detailed information of a role ##t获取角色的详细信息 role list Lists all roles ##列出所有角色 role grant-permission Grants a key to a role ##向角色授予密钥 role revoke-permission Revokes a key from a role ##从角色中取消密钥 check perf Check the performance of the etcd cluster ##检查etcd集群的性能 help Help about any command ##帮助关于任何命令的帮助 OPTIONS: --cacert="" verify certificates of TLS-enabled secure servers using this CA bundle ##使用这个CA bundle验证启用tls的安全服务器的证书 --cert="" identify secure client using this TLS certificate file ##使用此TLS证书文件识别安全客户端 --command-timeout=5s timeout for short running command (excluding dial timeout) ##短运行命令超时时间(不包括拨号超时时间) --debug[=false] enable client-side debug logging ##启用客户端调试日志记录 --dial-timeout=2s dial timeout for client connections ##客户端连接拨号超时时间 --endpoints=[127.0.0.1:2379] gRPC endpoints ##gRPC端点 --hex[=false] print byte strings as hex encoded strings ##将字节字符串打印为十六进制编码的字符串 --insecure-skip-tls-verify[=false] skip server certificate erification ##跳过服务器证书验证 --insecure-transport[=true] disable transport security for client connections ##禁用客户端连接的传输安全性 --key="" identify secure client using this TLS key file ##使用此TLS密钥文件识别安全客户端 --user="" username[:password] for authentication (prompt if password is not supplied) ##用户名[:密码]用于认证(提示如果不提供密码) -w, --write-out="simple" set the output format (fields, json, protobuf, simple, table) ##设置输出格式(fields, json, protobuf, simple, table)
这篇关于3.2.1etcd数据库的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!
- 2024-12-23DevExpress 怎么实现右键菜单(Context Menu)显示中文?-icode9专业技术文章分享
- 2024-12-22怎么通过控制台去看我的页面渲染的内容在哪个文件中呢-icode9专业技术文章分享
- 2024-12-22el-tabs 组件只被引用了一次,但有时会渲染两次是什么原因?-icode9专业技术文章分享
- 2024-12-22wordpress有哪些好的安全插件?-icode9专业技术文章分享
- 2024-12-22wordpress如何查看系统有哪些cron任务?-icode9专业技术文章分享
- 2024-12-21Svg Sprite Icon教程:轻松入门与应用指南
- 2024-12-20Excel数据导出实战:新手必学的简单教程
- 2024-12-20RBAC的权限实战:新手入门教程
- 2024-12-20Svg Sprite Icon实战:从入门到上手的全面指南
- 2024-12-20LCD1602显示模块详解