GlusterFS_分布式文件系统

2021/5/11 19:01:33

编程Tag： data dev 分布式 GlusterFS 分布式文件系统 dis volume 条带

本文主要是介绍GlusterFS_分布式文件系统，对大家解决编程问题具有一定的参考价值，需要的程序猿们随着小编来一起学习吧！

GFS分布式文件系统

一.概述
- - 1）文件系统组成(ext3,ext4)
  - 2）文件系统FS作用
  - 3）文件系统FS 的挂载使用
  - 4) 分布式文件系统(GFS)组成
  - - 5)分布式文件系统(GFS)特点
  - 6）分布式文件系统(GFS)专业术语
- 二.模块化堆栈架构
- - 模块部分：
  - 三.GFS工作原理
  - 四.GFS卷类型
- 1）分布式卷
- - - 特点：
  - 创建命令
- 2）条带卷
- - 特点：
  - 创建命令
- 3)复制卷
- - 特点：
  - 创建命令
- 4）分布式条带卷
- - 创建命令
- 5）分布式复制卷
- - 创建命令
- 6）条带复制卷
- 7）分布式条带卷
- - 五.相关维护命令
  - 1.查看GlusterFS卷
  - 2.查看所有卷的信息
  - 3.查看所有卷的状态
  - 4.停止一个卷
  - 5.删除一个卷
  - 6.设置卷的访问控制
  - 六.GFS部署
  - 1.节点进行磁盘分区、挂载
  - 2.配置/etc/hosts文件
  - 3.安装、启动GlusterFS
  - 4.添加节点创建集群
  - 5.根据规划创建卷
  - 1）创建分布式卷
- 2）创建条带卷
- - 3）创建复制卷
  - 4)创建分布式条带卷
  - 5）创建分布式复制卷
  - 查看卷列表
  - 6.部署gluster客户端
  - 1）安装客户端软件
  - 2）配置 /etc/hosts 文件
  - 3）创建挂载目录
  - 4）挂载 Gluster 文件系统
  - 7.测试 Gluster 文件系统
  - 8.查看文件分布
  - 1)查看分布式文件分布
  - - node1:/dev/sdb1:
  - node2:/dev/sdb1:
  - 2)查看条带卷文件分布
  - - node1:/dev/sdc1:
  - node2:/dev/sdc1:
  - 3)查看复制卷文件分布
  - node3:/dev/sdb1:
  - node4:/dev/sdb1:
  - 4)查看分布式条带卷分布
  - - node1:/dev/sdd1:
  - node2:/dev/sdd1:
  - node3:/dev/sdd1:
  - node4:/dev/sdd1:
  - 5)查看分布式复制卷分布
  - - node1:/dev/sde1
    - node2:/dev/sde1:
  - node3:/dev/sde1:
  - node4:/dev/sde1:
  - 七.冗余测试
  - 若发现关闭服务没效果，直接init0
  - 客户端（192.168.133.50）查看文件是否正常
  - 1.分布式卷
  - 2.条带卷
  - 3.分布式条带卷
  - 4.分布式复制卷
  - 5.复制卷
- 总结：

一.概述

GlusterFS:开源分布式文件系统，无元数据服务器
FS：文件系统

1）文件系统组成(ext3,ext4)

1.文件系统的接口(API)
2.对对象管理的软件集合
3.对象及属性

2）文件系统FS作用

 对用户建立文件，存入，读出，修改，转储，控制文件存取

3）文件系统FS 的挂载使用

除了根文件系统外，需要先挂载到挂载点后，才可被访问
挂载点即分区设备文件关联的某个目录文件

4) 分布式文件系统(GFS)组成

1.存储服务器
2.客户端
3.NFS/samba存储网关组成

5)分布式文件系统(GFS)特点

扩展性和高性能
高可用(冗余）
全局统一命名空间
弹性卷管理(复制卷，条带卷
基于标准协议(http https)

6）分布式文件系统(GFS)专业术语

brick块：实际存储用户数据的服务器
volume:本地文件系统的分区
fuse:用户空间的文件系统(伪文件系统)，客户端与服务端连接的工具，本地的数据以网络的方式传递,客户端服务端口连接工具客户端请求交给fuse
VFS：虚拟接口，用户提交请求给VFS,VFS把文件给fuse，再交给GFS客户端，最后客户端交给远端存储
Glusterd:服务端

二.模块化堆栈架构

多种功能模块组合在一起，组成堆栈架构

模块化、堆栈式架构
通过对模块的组合，实现复杂的功能

模块部分：

gige:千兆口
TCP/ip:网络协议
infiniband:网络协议，tcp,ip具有转发丢失数据包的特征，丢包的几率小

RDMA：负责数据传输，数据传输协议
解决传输中客户端与服务器端数据处理的延迟

posix:可移植系统接口，解决不同操作系统见的移植性

三.GFS工作原理

用户：安装客户端，安装fuse，挂载到服务端，把文件存储进去

1.首先系统调用给vfs(虚拟接口），再将数据给fuse(伪文件系统)连接客户端和服务端

2.再数据保存在虚拟的文件中
3.通过客户端传递数据给服务端
4.服务端使用VFS接口，保存在实际文件系统中

四.GFS卷类型

1）分布式卷

没有对文件进行分块处理
通过扩展文件属性保存HASH值
支持的底层文件系统有EXT3、EXT4、ZFS、XFS

特点：

文件分开存，没有拆分大小，效率不提升
文件分布在不同服务器，不具备冗余
单点故障会造成数据丢失
依赖底层的数据保护

创建命令

创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中

gluster volume create dis-volume server1:/dir1 server2:/dir2

2）条带卷

 大小拆分，轮询存储在每个节点
 不具备冗余，

特点：

数据被分割成更小块分布到块服务器群中的不同条带区
分布减少了负载且更小的文件加速了存取的速度
没有数据冗余

创建命令

创建了一个名为Stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick

gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2

3)复制卷

冗余备份，多个节点存储空间不一致，按木桶效应最小节点存取
至少两个服务器和更多服务器

特点：

卷中所有的服务器均保存一个完整的副本
- 卷的副本数量可由客户创建的时候决定
  - 至少由两个块服务器或更多服务器
  - 具备冗余性

创建命令

创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

4）分布式条带卷

分布式，条带卷功能
大文件访问处理，至少4台服务器

创建命令

创建了一个名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2

5）分布式复制卷

 分布式，复制卷功能
 兼具分布式卷和复制卷的特点

创建命令

创建了一个名为dis-rep的分布式条带卷，配置分布式的复制卷时，卷中Brick所包含的存储服务器数必须是复制数的倍数(>=2倍)

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

6）条带复制卷

类似RAID 10，同时具有条带卷和复制卷的特点

7）分布式条带卷

三种基本卷的复合卷通常用于类Map Reduce应用

五.相关维护命令

1.查看GlusterFS卷

gluster volume list

2.查看所有卷的信息

gluster volume info

3.查看所有卷的状态

gluster volume status

4.停止一个卷

gluster volume stop dis-stripe

5.删除一个卷

注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功

gluster volume delete dis-stripe

6.设置卷的访问控制

仅拒绝

gluster volume set dis-rep auth.allow 192.168.133.100

仅允许

gluster volume set dis-rep auth.allow 192.168.133.*	  #设置192.168.133.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）

六.GFS部署

集群环境准备

节点名称	ip地址	磁盘	挂载点
Node1节点	192.168.133.10	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1/data/sde1
Node2节点	192.168.133.20	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1/data/sde1
Node3节点	192.168.133.30	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1/data/sde1
Node4节点	192.168.133.40	/dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1	/data/sdb1 /data/sdc1 /data/sdd1/data/sde1
客户端	192.168.133.50

关闭防火墙：

systemctl stop firewalld
setenforce 0

在这里插入图片描述

1.节点进行磁盘分区、挂载

Node1节点：192.168.133.10
Node2节点：192.168.133.20
Node3节点：192.168.133.30
Node4节点：192.168.133.40
这里使用node1作为示范，用脚本对磁盘进行操作

vim fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null

chmod +x fdisk.sh
./fdisk.sh

在这里插入图片描述

2.配置/etc/hosts文件

Node1节点：192.168.133.10
Node2节点：192.168.133.20
Node3节点：192.168.133.30
Node4节点：192.168.133.40
使用node1作为示范

echo "192.168.133.10 node1" >> /etc/hosts
echo "192.168.133.20 node2" >> /etc/hosts
echo "192.168.133.30 node3" >> /etc/hosts
echo "192.168.133.40 node4" >> /etc/hosts

在这里插入图片描述

3.安装、启动GlusterFS

四个节点相同操作：

Node1节点：192.168.133.10
Node2节点：192.168.133.20
Node3节点：192.168.133.30
Node4节点：192.168.133.40
使用node1作为示范

#将软件包放入opt目录下
cd /opt
unzip gfsrepo.zip 

cd /etc/yum.repos.d/
mkdir repos.bak
mv * repos.bak/

vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service

在这里插入图片描述

4.添加节点创建集群

这里仅需在一个节点上操作
Node1节点：192.168.133.10
添加节点到存储信任池中

gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

#查看群集状态（可以在每个节点上使用）
gluster peer status

在这里插入图片描述

5.根据规划创建卷

创建卷只需要在一台节点上创建即可
根据以下规划创建卷：

卷名称	卷类型	Brick
dis-volume	分布式卷	node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume	条带卷	node1(/data/sdc1)、node2(/data/sdc1)
rep-volume	复制卷	node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe	分布式条带卷	node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep	分布式复制卷	node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

1）创建分布式卷

 创建分布式卷，没有指定类型，默认创建的是分布式卷

创建分布式卷：

gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force

查看卷列表

gluster volume list

启动新建分布式卷

gluster volume start dis-volume

查看创建分布式卷信息

gluster volume info dis-volume

在这里插入图片描述

2）创建条带卷

 指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷

创建条带卷

gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force

启动新建条带卷

gluster volume start stripe-volume

查看创建条带卷信息

gluster volume info stripe-volume

在这里插入图片描述

3）创建复制卷

指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷

创建复制卷

gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force

启动新建复制卷

gluster volume start rep-volume

查看创建复制卷信息

gluster volume info rep-volume

在这里插入图片描述

4)创建分布式条带卷

指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷

创建分布式条带卷

gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force

启动新建分布式条带卷

gluster volume start dis-stripe

查看创建分布式条带卷信息

gluster volume info dis-stripe

在这里插入图片描述

5）创建分布式复制卷

指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷

创建分布式复制卷

gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force

启动新建分布式复制卷

gluster volume start dis-rep

查看创建分布式复制卷信息

gluster volume info dis-rep

在这里插入图片描述

查看卷列表

gluster volume list

在这里插入图片描述

6.部署gluster客户端

部署Gluster客户端（192.168.133.50）

1）安装客户端软件

cd /opt
unzip gfsrepo.zip 

cd /etc/yum.repos.d/
mkdir repos.bak
mv * repos.bak/

vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1

yum clean all && yum makecache

yum -y install glusterfs glusterfs-fuse

在这里插入图片描述

2）配置 /etc/hosts 文件

echo "192.168.133.10 node1" >> /etc/hosts
echo "192.168.133.20 node2" >> /etc/hosts
echo "192.168.133.30 node3" >> /etc/hosts
echo "192.168.133.40 node4" >> /etc/hosts

在这里插入图片描述

3）创建挂载目录

mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}

在这里插入图片描述

4）挂载 Gluster 文件系统

临时挂载

mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep

df -h

在这里插入图片描述

企业中最好用永久挂载，以防重启或服务器宕机：

vim /etc/fstab
node1:dis-volume		/test/dis				glusterfs		defaults,_netdev		0 0
node1:stripe-volume		/test/stripe			glusterfs		defaults,_netdev		0 0
node1:rep-volume		/test/rep				glusterfs		defaults,_netdev		0 0
node1:dis-stripe		/test/dis_stripe	    glusterfs		defaults,_netdev		0 0
node1:dis-rep			/test/dis_rep		    glusterfs       defaults,_netdev		0 0

mount -a

在这里插入图片描述

7.测试 Gluster 文件系统

部署Gluster客户端（192.168.133.50）
向卷中写入文件

cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40

ls -lh /opt

在这里插入图片描述

cp demo* /test/dis
cp demo* /test/stripe/
cp demo* /test/rep/
cp demo* /test/dis_stripe/
cp demo* /test/dis_rep/

在这里插入图片描述

8.查看文件分布

查看卷对应的磁盘分区中的文件数据，验证结果

1)查看分布式文件分布

node1:/dev/sdb1:

ll -h /data/sdb1

在这里插入图片描述

node2:/dev/sdb1:

ll -h /data/sdb1

在这里插入图片描述
现象：分布式只会将demo文件分开存储（5个文件不在同一磁盘分区上），不会将数据分片和备份

2)查看条带卷文件分布

node1:/dev/sdc1:

ll -h /data/sdc1

在这里插入图片描述

node2:/dev/sdc1:

ll -h /data/sdc1

在这里插入图片描述
现象：条带卷会将每个demo文件中的数据分片存储（两个分区各有20M的文件），没有备份

3)查看复制卷文件分布

node3:/dev/sdb1:

ll -h /data/sdb1

在这里插入图片描述

node4:/dev/sdb1:

ll -h /data/sdb1

在这里插入图片描述
现象：复制卷会将每个文件放入卷中的磁盘分区中（两分区的文件一样）

4)查看分布式条带卷分布

node1:/dev/sdd1:

ll -h /data/sdd1

在这里插入图片描述

node2:/dev/sdd1:

ll -h /data/sdd1

在这里插入图片描述

node3:/dev/sdd1:

ll -h /data/sdd1

在这里插入图片描述

node4:/dev/sdd1:

ll -h /data/sdd1

在这里插入图片描述
现象：分布式条带卷中，带有分布式和条带卷的特点，即将数据分片，又将文件分开存储，没有备份

5)查看分布式复制卷分布

node1:/dev/sde1

ll -h /data/sde1

在这里插入图片描述

node2:/dev/sde1:

ll -h /data/sde1

在这里插入图片描述

node3:/dev/sde1:

ll -h /data/sde1

在这里插入图片描述

node4:/dev/sde1:

ll -h /data/sde1

在这里插入图片描述
现象：分布式复制卷中，带有分布式和复制卷的特点，即将文件分开存储，又复制一遍文件（备份）

七.冗余测试

挂起 node2 节点或者关闭glusterd服务来模拟故障

systemctl stop glusterd.service

在这里插入图片描述

若发现关闭服务没效果，直接init0

在这里插入图片描述

客户端（192.168.133.50）查看文件是否正常

1.分布式卷

ls -lh /test/dis

在这里插入图片描述

数据查看，缺少demo5，文件demo5是存储在node2上的，所以分布式卷不具备冗余

2.条带卷

ls -lh /test/stripe/

在这里插入图片描述

文件中没有数据，说明数据全部丢失，所以条带卷不具备冗余

3.分布式条带卷

ls -lh /test/dis_stripe/

在这里插入图片描述

4.分布式复制卷

ls -lh /test/dis_rep/

在这里插入图片描述

文件和数据都在，所以分布式复制卷具有冗余

5.复制卷

在node3和node4中选一个关闭的，关闭node4（192.168.133.40）进行测试具有冗余

ls -lh /test/rep/

在这里插入图片描述

总结：

分布式卷：文件分开存，没有拆分大小，效率不提升文件分布在不同服务器，不具备冗余
条带卷：大小拆分，轮询存储在每个节点不具备冗余，
复制卷：冗余备份，多个节点存储空间不一致，按木桶效应最小节点存取
至少两个服务器和更多服务器
分布式条带：分布式，条带卷功能
大文件访问处理，至少4太服务器
分布式复制：分布式，复制卷功能

GFS原理：
1.首先系统调用给vfs(虚拟接口），再将数据给fuse(伪文件系统)连接客户端和服务端
2.再数据保存在虚拟的文件中
3.通过客户端传递数据给服务端
4.服务端使用VFS接口，保存在实际文件系统中

这篇关于GlusterFS_分布式文件系统的文章就介绍到这儿，希望我们推荐的文章对大家有所帮助，也希望大家多多支持为之网！