3.2.1etcd数据库

2021/7/26 2:09:50

本文主要是介绍3.2.1etcd数据库,对大家解决编程问题具有一定的参考价值,需要的程序猿们随着小编来一起学习吧!

一直有这个冲动,

想知道kubernetes往etcd里放了哪些数据,是如何组织的。

能看到,才有把握知道它的实现和细节。

找了很多文档,终于找到靠谱的。

我是使用kubeadm工具安装的集群,要解除集群的资源占用要先把一些容器停掉,把kube-apiserver的编排文件从/etc/kubernetes/manifests/目录下先移出来,kubelet检查到会停止相应的pods,没有了kube-apiserver集群不会再创建新的pods,这时kubectl不可用了,使用docker命令把spinnaker项目的容器都删掉系统资源就能空闲出来。这时etcd还是正常的,用docker工具直接进入etcd。
操作etcd有命令行工具etcdctl,有两个api版本互不兼容的,系统默认的v2版本,kubernetes集群使用的是v3版本,v2版本下是看不到v3版本的数据的,我也是找了些资料才了解这个情况。
使用环境变量定义api版本

#设置etcdctl为v3版本
export ETCDCTL_API=3

#设置etcd的端点信息,即etcd集群的ip:port,以逗号分隔
export ETCDCTL_ENDPOINTS=https://192.168.31.71:2379,https://192.168.31.72:2379,https://192.168.31.73:2379

#设置证书的环境变量
export ETCDCTL_CACERT=/opt/etcd/ssl/ca.pem
export ETCDCTL_CERT=/opt/etcd/ssl/server.pem 
export ETCDCTL_KEY=/opt/etcd/ssl/server-key.pem 

etcd有目录结构类似linux文件系统,获取所有key看一看:

etcdctl get / --prefix --keys-only

*一看就可以大概理解kubenetes的数据结构了,查询命名空间下所有部署的数据:

etcdctl get /registry/deployments/default --prefix --keys-only

把想删除的删掉,列如:
etcdctl del /registry/deployments/default/elevated-dragonfly-spinn-front50
删除deployments,pods这可以了,稍微减少一些资源,让kube-apiserver可以正常工作即可,其它资源还可以使用kubectl工具删除
删掉些资源后退出etcd把kube-apiserver的编排文件放回/etc/kubernetes/manifests目录,服务会再次启动,然后再清理重新部署。

查看etcd版本

etcdctl version

是一个开源的分布式键值对数据库,他的每一个节点都有一份数据的copy,当有节点故障时保证了高可用性。etcd使用Raft算法来保证一致性。

  第一次接触etcd是在学习k8s时。k8s用etcd做的服务发现。后来在开发一个分布式系统时需要用到服务发现,就想试一下用etcd做服务发现。效果还是很不错的。

  这篇讲一下etcd集群的搭建和使用。

集群的节点个数和容错

  官方推荐的集群个数为奇数个,如图当节点为3个和为4个时的容错都是1, 节点5个和6个时,容错为2...

img

  集群的节点越多,容错性会越强,但是数据的同步份数也会越多,写性能会变差一些。合理的集群大小,就是平衡容错性和可写性。

安装集群

  准备三台服务器  

192.168.31.71 etcd0
192.168.31.72 etcd1
192.168.31.73 etcd2

  分别在三台服务器上下载etcd。这里下载的是版本3.3.8

ETCD_VER=v3.3.8

GITHUB_URL=https://github.com/coreos/etcd/releases/download
DOWNLOAD_URL=${GITHUB_URL}

rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
rm -rf /tmp/etcd-download-test && mkdir -p /tmp/etcd-download-test

curl -L ${DOWNLOAD_URL}/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz -o /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz
tar xzvf /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz -C /tmp/etcd-download-test --strip-components=1
rm -f /tmp/etcd-${ETCD_VER}-linux-amd64.tar.gz

/tmp/etcd-download-test/etcd --version
ETCDCTL_API=3 /tmp/etcd-download-test/etcdctl version

img

img

 然后将两个文件都放到系统可执行目录 /usr/local/bin/ 或 /usr/bin/

cd /tmp/etcd-download-test
sudo cp etcd* /usr/local/bin/

 创建一个文件夹用来保存etcd的数据

sudo mkdir -p /data/etcd
sudo chown -R root:$(whoami) /data/etcd
sudo chmod -R a+rw /data/etcd

  在这里我使用static方式去搭建服务。

  编写systemd服务文件,分别在每台机器上编写服务文件:

cat > /tmp/etcd0.service <<EOF
[Unit]
Description=etcd
Documentation=https://github.com/coreos/etcd
Conflicts=etcd.service
Conflicts=etcd2.service

[Service]
Type=notify
Restart=always
RestartSec=5s
LimitNOFILE=40000
TimeoutStartSec=0

ExecStart=/usr/local/bin/etcd --name etcd0 \
--data-dir /data/etcd \
--initial-advertise-peer-urls http://172.31.43.166:2380 \
--listen-peer-urls http://172.31.43.166:2380 \
--listen-client-urls http://172.31.43.166:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://172.31.43.166:2379 \
--initial-cluster-token etcd-cluster-pro \
--initial-cluster etcd0=http://172.31.43.166:2380,etcd1=http://172.31.43.114:2380,etcd2=http://172.31.34.237:2380 \
--initial-cluster-state new
[Install]
WantedBy=multi-user.target
EOF
sudo mv /tmp/etcd0.service /etc/systemd/system/etcd0.service
cat > /tmp/etcd1.service <<EOF
[Unit]
Description=etcd
Documentation=https://github.com/coreos/etcd
Conflicts=etcd.service
Conflicts=etcd2.service

[Service]
Type=notify
Restart=always
RestartSec=5s
LimitNOFILE=40000
TimeoutStartSec=0

ExecStart=/usr/local/bin/etcd --name etcd1 \
--data-dir /data/etcd \
--initial-advertise-peer-urls http://172.31.43.114:2380 \
--listen-peer-urls http://172.31.43.114:2380 \
--listen-client-urls http://172.31.43.114:2379,http://127.0.0.1:2379 \
--advertise-client-urls http://172.31.43.114:2379 \
--initial-cluster-token etcd-cluster-pro \
--initial-cluster etcd0=http://172.31.43.166:2380,etcd1=http://172.31.43.114:2380,etcd2=http://172.31.34.237:2380 \
--initial-cluster-state new

[Install]
WantedBy=multi-user.target
EOF
sudo mv /tmp/etcd1.service /etc/systemd/system/etcd1.service
cat > /tmp/etcd2.service <<EOF
[Unit]
Description=etcd
Documentation=https://github.com/coreos/etcd
Conflicts=etcd.service

[Service]
Type=notify
Restart=always
RestartSec=5s
LimitNOFILE=40000
TimeoutStartSec=0

ExecStart=/usr/local/bin/etcd -name etcd2 \
  --data-dir /data/etcd \
  --initial-advertise-peer-urls http://172.31.34.237:2380 \
  --listen-peer-urls http://172.31.34.237:2380 \
  --listen-client-urls http://172.31.34.237:2379,http://127.0.0.1:2379 \
  --advertise-client-urls http://172.31.34.237:2379 \
  --initial-cluster-token etcd-cluster-pro \
  --initial-cluster etcd0=http://172.31.43.166:2380,etcd1=http://172.31.43.114:2380,etcd2=http://172.31.34.237:2380 \
  --initial-cluster-state new

[Install]
WantedBy=multi-user.target
EOF
sudo mv /tmp/etcd2.service /etc/systemd/system/etcd2.service

  

下面是一些常用配置选项的说明:

--name:方便理解的节点名称,默认为 default,在集群中应该保持唯一
--data-dir:服务运行数据保存的路径,默认为 ${name}.etcd
--snapshot-count:指定有多少事务(transaction)被提交时,触发截取快照保存到磁盘
--heartbeat-interval:leader 多久发送一次心跳到 followers。默认值是 100ms
--eletion-timeout:重新投票的超时时间,如果follower在该时间间隔没有收到心跳包,会触发重新投票,默认为 1000 ms
--listen-peer-urls:和同伴通信的地址,比如 http://ip:2380,如果有多个,使用逗号分隔。需要所有节点都能够访问,所以不要使用 localhost
--advertise-client-urls:对外公告的该节点客户端监听地址,这个值会告诉集群中其他节点
--listen-client-urls:对外提供服务的地址:比如 http://ip:2379,http://127.0.0.1:2379,客户端会连接到这里和etcd交互
--initial-advertise-peer-urls:该节点同伴监听地址,这个值会告诉集群中其他节点
--initial-cluster:集群中所有节点的信息,格式为 node1=http://ip1:2380,node2=http://ip2:2380,…。需要注意的是,这里的 node1 是节点的--name指定的名字;后面的ip1:2380 是--initial-advertise-peer-urls 指定的值
--initial-cluster-state:新建集群的时候,这个值为 new;假如已经存在的集群,这个值为existing
--initial-cluster-token:创建集群的token,这个值每个集群保持唯一。这样的话,如果你要重新创建集群,即使配置和之前一样,也会再次生成新的集群和节点 uuid;否则会导致多个集群之间的冲突,造成未知的错误

  所有以--init开头的配置都是在第一次启动etcd集群的时候才会用到,后续节点的重启会被忽略,如--initial-cluseter参数。所以当成功初始化了一个etcd集群以后,就不再需要这个参数或环境变量了。

  如果服务已经运行过就要把修改 --initial-cluster-state 为existing

  启用服务

sudo systemctl daemon-reload
sudo systemctl enable etcd0.service
sudo systemctl start etcd0.service


sudo systemctl daemon-reload
sudo systemctl enable etcd1.service
sudo systemctl start etcd1.service

sudo systemctl daemon-reload
sudo systemctl enable etcd2.service
sudo systemctl start etcd2.service

查看 log:

sudo systemctl status etcd0.service -l --no-pager
sudo journalctl -u etcd0.service -l --no-pager|less
sudo journalctl -f -u etcd0.service


sudo systemctl status etcd1.service -l --no-pager
sudo journalctl -u etcd1.service -l --no-pager|less
sudo journalctl -f -u etcd1service


sudo systemctl status etcd2.service -l --no-pager
sudo journalctl -u etcd2.service -l --no-pager|less
sudo journalctl -f -u etcd2.service

暂停

sudo systemctl stop etcd0.service
sudo systemctl disable etcd0.service

sudo systemctl stop etcd1.service
sudo systemctl disable etcd1.service

sudo systemctl stop etcd2.service
sudo systemctl disable etcd2.service

使用etcd

我使用的etcd的api为v3版本。在使用命令时需要在前面加上ETCDCTL_API=3

 如:查看集群成员

ETCDCTL_API=3 etcdctl member list

img

可以看到有3个节点在线

集群状态

etcdctl  endpoint status  --write-out="table"

img

操作数据

使用put和get命令可以保存和得到数据.del删除数据

img

根据前缀查询

 ETCDCTL_API=3 etcdctl put test1 a
 ETCDCTL_API=3 etcdctl put test2 b
 ETCDCTL_API=3 etcdctl put test3 c
 ETCDCTL_API=3 etcdctl get --prefix test

img

查询所有数据

ETCDCTL_API=3 etcdctl get --from-key ""

img

watch 监听

watch 会监听key的变动 有变动时会在输出。这也正是服务发现需要使用的。

我们监听 test键,然后对test执行修改和删除操作

ETCDCTL_API=3 etcdctl watch test

img

ETCDCTL_API=3 etcdctl put test abcde
ETCDCTL_API=3 etcdctl put test aaaa
 ETCDCTL_API=3 etcdctl del test

lead 租约

etcd可以为key设置超时时间,但与redis不同,etcd需要先创建lease,然后使用put命令加上参数–lease=

img

ETCDCTL_API=3 lease grant ttl 创建lease,返回lease ID ttl秒
ETCDCTL_API=3 lease revoke leaseId 删除lease,并删除所有关联的key
ETCDCTL_API=3 lease timetolive leaseId 取得lease的总时间和剩余时间
ETCDCTL_API=3 lease keep-alive leaseId keep-alive会不间断的刷新lease时间,从而保证lease不会过期。

分布式锁

使用lock命令后加锁名称 做分布式锁,如果没有显示释放锁,其他地方只能等待。

etcdctl --endpoints=$ENDPOINTS lock mutex1

# 在另一个终端输入
etcdctl --endpoints=$ENDPOINTS lock mutex1

img

/ # etcd --version
etcd Version: 3.3.8
Git SHA: 33245c6b5
Go Version: go1.9.7
Go OS/Arch: linux/amd64
/ # etcdctl --help
NAME:
        etcdctl - A simple command line client for etcd3.

USAGE:
        etcdctl

VERSION:
        3.2.10

API VERSION:
        3.2


COMMANDS:
        get                     Gets the key or a range of keys
                                #获取键或键的范围

        put                     Puts the given key into the store
                                ##将给定的键放入存储

        del                     Removes the specified key or range of keys [key, range_end)
                                ##删除指定的键或键范围[key, range_end)

        txn                     Txn processes all the requests in one transaction
                                ## txn在一个事务中处理所有请求

        compaction              Compacts the event history in etcd
                                ## 将etcd中的事件历史记录压缩

        alarm disarm            Disarms all alarms
                                ##解除所有警报

        alarm list              Lists all alarms
                                ##告警列表列出所有告警信息

        defrag                  Defragments the storage of the etcd members with given endpoints
                                ##整理碎片整理具有给定端点的etcd成员的存储碎片

        endpoint health         Checks the healthiness of endpoints specified in `--endpoints` flag
                                ##端点运行状况检查“--endpoints”标志中指定的端点的运行状况

        endpoint status         Prints out the status of endpoints specified in `--endpoints` flag
                                ##端点状态打印'——endpoints '标志中指定的端点状态

        watch                   Watches events stream on keys or prefixes
                                ##监视键或前缀上的事件流

        version                 Prints the version of etcdctl
                                ##version打印etcdctl的版本

        lease grant             Creates leases
                                ## 批地租约创建租约

        lease revoke            Revokes leases
                                ##lease revoke撤消租赁

        lease timetolive        Get lease information
                                ## lease timetolive获取租赁信息

        lease keep-alive        Keeps leases alive (renew)
                                ##lease keep-alive使租约保持有效(更新)

        member add              Adds a member into the cluster
                                ##成员添加向集群中添加一个成员

        member remove           Removes a member from the cluster
                                ##成员移除从集群中移除一个成员

        member update           Updates a member in the cluster
                                ##成员更新更新集群中的成员

        member list             Lists all members in the cluster
                                ##列出集群中的所有成员

        snapshot save           Stores an etcd node backend snapshot to a given file
                                ##将etcd节点后端快照存储到给定文件

        snapshot restore        Restores an etcd member snapshot to an etcd directory
                                ##将etcd成员快照恢复到etcd目录

        snapshot status         Gets backend snapshot status of a given file
                                ##获取给定文件的后端快照状态

        make-mirror             Makes a mirror at the destination etcd cluster
                                ##在目标etcd集群上做一个镜像

        migrate                 Migrates keys in a v2 store to a mvcc store
                                ##将v2存储中的键迁移到mvcc存储中

        lock                    Acquires a named lock
                                ##获取一个命名的锁

        elect                   Observes and participates in leader election
                                ##观察并参与领导人选举

        auth enable             Enables authentication
                                ##启用认证功能

        auth disable            Disables authentication
                                ##禁用认证

        user add                Adds a new user
                                ##添加一个新用户

        user delete             Deletes a user
                                ##删除用户

        user get                Gets detailed information of a user
                                ##获取用户的详细信息

        user list               Lists all users
                                ##列出所有用户

        user passwd             Changes password of user
                                ##修改用户密码

        user grant-role         Grants a role to a user
                                ##授予用户角色

        user revoke-role        Revokes a role from a user
                                ##取消用户的角色

        role add                Adds a new role
                                ##添加新角色

        role delete             Deletes a role
                                ##删除角色

        role get                Gets detailed information of a role
                                ##t获取角色的详细信息

        role list               Lists all roles
                                ##列出所有角色

        role grant-permission   Grants a key to a role
                                ##向角色授予密钥

        role revoke-permission  Revokes a key from a role
                                ##从角色中取消密钥

        check perf              Check the performance of the etcd cluster
                                ##检查etcd集群的性能

        help                    Help about any command
                                ##帮助关于任何命令的帮助

OPTIONS:
      --cacert=""                               verify certificates of TLS-enabled secure servers using this CA bundle
                                                ##使用这个CA bundle验证启用tls的安全服务器的证书

      --cert=""                                 identify secure client using this TLS certificate file
                                                ##使用此TLS证书文件识别安全客户端

      --command-timeout=5s                      timeout for short running command (excluding dial timeout)
                                                ##短运行命令超时时间(不包括拨号超时时间)

      --debug[=false]                           enable client-side debug logging
                                                ##启用客户端调试日志记录

      --dial-timeout=2s                         dial timeout for client connections
                                                ##客户端连接拨号超时时间

      --endpoints=[127.0.0.1:2379]              gRPC endpoints
                                                ##gRPC端点

      --hex[=false]                             print byte strings as hex encoded strings
                                                ##将字节字符串打印为十六进制编码的字符串

      --insecure-skip-tls-verify[=false]        skip server certificate erification
                                                ##跳过服务器证书验证

      --insecure-transport[=true]               disable transport security for client connections
                                                ##禁用客户端连接的传输安全性

      --key=""                                  identify secure client using this TLS key file
                                                ##使用此TLS密钥文件识别安全客户端

      --user=""                                 username[:password] for authentication (prompt if password is not supplied)
                                                ##用户名[:密码]用于认证(提示如果不提供密码)

      -w, --write-out="simple"                  set the output format (fields, json, protobuf, simple, table)
                                                ##设置输出格式(fields, json, protobuf, simple, table)


这篇关于3.2.1etcd数据库的文章就介绍到这儿,希望我们推荐的文章对大家有所帮助,也希望大家多多支持为之网!


扫一扫关注最新编程教程