GFS分布式文件系统集群（实践篇）

实践部署

实践环境

• 开启5台Linux虚拟机，并在其中四台分别添加4块硬盘，每块硬盘内存为：20G
• 开启后分别设置虚拟机名称为：node1、node2、node3、node4、client
• 服务器地址分别为
  • node1：192.168.116.128
  • node2：192.168.116.130
  • node3：192.168.116.129
  • node4：192.168.116.131
  • client：192.168.116.132

在所有虚拟机中配置主机名解析

vim /etc/hosts ... 192.168.116.128 node1 192.168.116.130 node2 192.168.116.129 node3 192.168.116.131 node4 :wq

在node1节点服务器中编辑格式磁盘脚本，并执行脚本

mkdir /abc //创建目录 cd /abc vim disk.sh //编辑脚本 mkdir -p /data/sd{b..e}1 for i in {b..e};do echo 'n w' | fdisk /dev/sd${i} mkfs.xfs /dev/sd${i}1 mount /dev/sd${i}1 /data/sd${i}1 done :wq chmod +x disk.sh //添加执行权限 ./disk.sh //执行脚本 df -hT //查看磁盘信息 文件系统 类型 容量 已用 可用 已用% 挂载点 /dev/sda2 xfs 20G 1.5G 19G 8% / devtmpfs devtmpfs 903M 0 903M 0% /dev tmpfs tmpfs 912M 0 912M 0% /dev/shm tmpfs tmpfs 912M 8.6M 904M 1% /run tmpfs tmpfs 912M 0 912M 0% /sys/fs/cgroup /dev/sda5 xfs 8.0G 33M 8.0G 1% /home /dev/sda1 xfs 8.0G 135M 7.9G 2% /boot tmpfs tmpfs 183M 0 183M 0% /run/user/0 /dev/sdb1 xfs 20G 33M 20G 1% /data/sdb1 /dev/sdc1 xfs 20G 33M 20G 1% /data/sdc1 /dev/sdd1 xfs 20G 33M 20G 1% /data/sdd1 /dev/sde1 xfs 20G 33M 20G 1% /data/sde1 //成功分区

将脚本文件分别推送到两外3个节点服务器,并分别执行脚本文件

scp disk.sh root@192.168.116.130:/opt/ scp disk.sh root@192.168.116.129:/opt/ scp disk.sh root@192.168.116.131:/opt/

在所有node节点服务器中搭建yum源，使用yum源安装GFS服务

• GFS软件yum包下载

  mount.cifs //192.168.80.2/shares /abc/ //挂载yum存放目录 cd /etc/yum.repos.d/ //进入yum仓库目录 mkdir bak //创建文件夹 mv CentOS-* bak/ //将已存在的源全部放入创建的文件夹内 vim glfs.repo //编辑yum源 [glfs] name=glfs baseurl=file:///abc/gfsrepo //指定yum源路径 gpgcheck=0 enabled=1 :wq yum list //重新加载yum仓库 yum install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma -y //安装GFS服务 systemctl stop firewalld.service //关闭防火墙 setenforce 0 //关闭selinux systemctl start glusterd.service //启动gfs服务 systemctl enable glusterd.service //设置开启自启 ntpdate ntp1.aliyun.com //同步阿里云时间

  进入node1节点服务器，添加信任节点

  gluster peer probe node2 gluster peer probe node3 gluster peer probe node4

  在所有节点服务器查看信任节点信息

gluster peer status Number of Peers: 3 Hostname: node2 Uuid: 86e94693-aaaf-4eb9-91d6-edce0489e4f7 State: Peer in Cluster (Connected) Hostname: node3 Uuid: 1ee7a579-4a0e-493e-8709-d8234b8bb858 State: Peer in Cluster (Connected) Hostname: node4 Uuid: b98e1eb0-3639-47be-a767-3a3df125443a State: Peer in Cluster (Connected)

在node1节点创建分布式卷

[root@node1 yum.repos.d]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force //创建分布式卷 force 强制执行 [root@node1 yum.repos.d]# gluster volume info dis-vol //查看卷信息 Volume Name: dis-vol Type: Distribute Volume ID: 370023d1-cdc9-4b0d-9c57-663ebad503cd Status: Created Snapshot Count: 0 Number of Bricks: 2 Transport-type: tcp Bricks: Brick1: node1:/data/sdb1 Brick2: node2:/data/sdb1 Options Reconfigured: transport.address-family: inet nfs.disable: on [root@node1 yum.repos.d]# gluster volume list //查看创建的卷 dis-vol [root@node1 yum.repos.d]# gluster volume start dis-vol //启动卷 volume start: dis-vol: success [root@node1 yum.repos.d]# gluster volume status dis-vol //查看卷状态 tatus of volume: dis-vol Gluster process TCP Port RDMA Port Online Pid ------------------------------------------------------------------------------ Brick node1:/data/sdb1 49152 0 Y 12100 Brick node2:/data/sdb1 49152 0 Y 11714 Task Status of Volume dis-vol ------------------------------------------------------------------------------ There are no active volume tasks [root@node1 yum.repos.d]# gluster volume info dis-vol //再次查看卷信息 Volume Name: dis-vol Type: Distribute Volume ID: 370023d1-cdc9-4b0d-9c57-663ebad503cd Status: Started //处于启动状态 Snapshot Count: 0 Number of Bricks: 2 Transport-type: tcp Bricks: Brick1: node1:/data/sdb1 Brick2: node2:/data/sdb1 Options Reconfigured: transport.address-family: inet nfs.disable: on

创建条带卷

[root@node1 yum.repos.d]# gluster volume create stripe-vol stripe 2 node1:/data/sdc1 node2:/data/sdc1 force volume create: stripe-vol: success: please start the volume to access data [root@node1 yum.repos.d]# gluster volume start stripe-vol volume start: stripe-vol: success [root@node1 yum.repos.d]# gluster volume info stripe-vol Volume Name: stripe-vol Type: Stripe Volume ID: da81b00a-0e98-43d9-b55a-726c758ecef9 Status: Started Snapshot Count: 0 Number of Bricks: 1 x 2 = 2 Transport-type: tcp Bricks: Brick1: node1:/data/sdc1 Brick2: node2:/data/sdc1 Options Reconfigured: transport.address-family: inet nfs.disable: on

创建复制卷

[root@node1 yum.repos.d]# gluster volume create rep-vol replica 2 node3:/data/sdb1 node4:/data/sdb1 force volume create: rep-vol: success: please start the volume to access data [root@node1 yum.repos.d]# gluster volume start rep-vol volume start: rep-vol: success [root@node1 yum.repos.d]# gluster volume info rep-vol Volume Name: rep-vol Type: Replicate Volume ID: fa5bd0c7-5d8d-49da-a25d-9d3fb0592fe3 Status: Started Snapshot Count: 0 Number of Bricks: 1 x 2 = 2 Transport-type: tcp Bricks: Brick1: node3:/data/sdb1 Brick2: node4:/data/sdb1 Options Reconfigured: transport.address-family: inet nfs.disable: on

创建分布式条带卷（至少4个节点）

[root@node1 yum.repos.d]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force volume create: dis-stripe: success: please start the volume to access data [root@node1 yum.repos.d]# gluster volume start dis-stripe volume start: dis-stripe: success [root@node1 yum.repos.d]# gluster volume info dis-stripe Volume Name: dis-stripe Type: Distributed-Stripe Volume ID: 6dc5d7c3-76ed-437d-b5fe-e0b875c0de18 Status: Started Snapshot Count: 0 Number of Bricks: 2 x 2 = 4 Transport-type: tcp Bricks: Brick1: node1:/data/sdd1 Brick2: node2:/data/sdd1 Brick3: node3:/data/sdd1 Brick4: node4:/data/sdd1 Options Reconfigured: transport.address-family: inet nfs.disable: on

创建分布式复制卷（至少4个节点）

[root@node1 yum.repos.d]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force volume create: dis-rep: success: please start the volume to access data [root@node1 yum.repos.d]# gluster volume start dis-rep volume start: dis-rep: success [root@node1 yum.repos.d]# gluster volume info dis-rep Volume Name: dis-rep Type: Distributed-Replicate Volume ID: dd2c8b19-d63b-42aa-be66-ca760335d0a0 Status: Started Snapshot Count: 0 Number of Bricks: 2 x 2 = 4 Transport-type: tcp Bricks: Brick1: node1:/data/sde1 Brick2: node2:/data/sde1 Brick3: node3:/data/sde1 Brick4: node4:/data/sde1 Options Reconfigured: transport.address-family: inet nfs.disable: on

查看创建的卷

[root@node1 yum.repos.d]# gluster volume list dis-rep dis-stripe dis-vol rep-vol stripe-vol

client配置

systemctl stop firewalld.service //关闭防火墙 setenforce 0 mkdir /abc mount.cifs //192.168.100.8/shares /abc/ //挂载yum源码包目录 cd /etc/yum.repos.d/ mkdir bak mv CentOS-* bak/ vim glfs.repo //创建yum源 [glfs] name=glfs baseurl=file:///abc/gfsrepo gpgcheck=0 enabled=1 :wq yum list yum install glusterfs glusterfs-fuse -y //安装GFS mkdir -p /text/dis mkdir /text/strip mkdir /text/rep mkdir /text/dis-str mkdir /text/dis-rep //创建5个挂载点目录 mount.glusterfs node1:dis-vol /text/dis/ //挂载分布式卷 mount.glusterfs node1:stripe-vol /text/strip/ //挂载条带卷 mount.glusterfs node3:rep-vol /text/rep/ //挂载复制卷 mount.glusterfs node2:dis-stripe /text/dis-str/ //挂载分布式条带卷 mount.glusterfs node4:dis-rep /text/dis-rep/ //挂载分布式复制卷 df -h 件系统 容量 已用 可用 已用% 挂载点 ··· node1:dis-vol 20G 265M 20G 2% /test/dis node1:stripe-vol 20G 265M 20G 2% /test/strip node1:rep-vol 10G 233M 9.8G 3% /test/rep node1:dis-stripe 40G 330M 40G 1% /test/dis_stripe node1:dis-rep 20G 265M 20G 2% /test/dis_rep

在client服务器中创建5个40M的文件,并将文件分别复制到5个挂载目录中

dd if=/dev/zero of=/demo1.log bs=1M count=40 dd if=/dev/zero of=/demo2.log bs=1M count=40 dd if=/dev/zero of=/demo3.log bs=1M count=40 dd if=/dev/zero of=/demo4.log bs=1M count=40 dd if=/dev/zero of=/demo5.log bs=1M count=40 cp /demo* /test/dis cp /demo* /test/strip cp /demo* /test/rep cp /demo* /test/dis_stripe cp /demo* /test/dis_rep

在node1、node2中查看分布式卷存放方式

[root@node1 ~]# ll -h /data/sdb1/ 总用量 160M -rw-r--r--. 2 root root 40M 12月 18 16:22 demo1.log //每个文件都是完整的 -rw-r--r--. 2 root root 40M 12月 18 16:22 demo2.log -rw-r--r--. 2 root root 40M 12月 18 16:22 demo3.log -rw-r--r--. 2 root root 40M 12月 18 16:22 demo4.log [root@node2 ~]# ll -h /data/sdb1/ 总用量 40M -rw-r--r--. 2 root root 40M 12月 18 16:22 demo5.log //通过hash算法分布式存放在两台节点服务器中

在node1、node2中查看条带卷存放方式

[root@node1 ~]# ll -h /data/sdc1/ 总用量 100M -rw-r--r--. 2 root root 20M 12月 18 16:23 demo1.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo2.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo3.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo4.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo5.log [root@node2 ~]# ll -h /data/sdc1/ 总用量 100M -rw-r--r--. 2 root root 20M 12月 18 16:23 demo1.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo2.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo3.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo4.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo5.log //所有文件都被分成各一半进行分布存储

在node3、node4中查看复制卷

[root@node3 ~]# ll -h /data/sdb1 总用量 200M -rw-r--r--. 2 root root 40M 12月 18 16:23 demo1.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo2.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo3.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo4.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo5.log [root@node4 ~]# ll -h /data/sdb1/ 总用量 200M -rw-r--r--. 2 root root 40M 12月 18 16:23 demo1.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo2.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo3.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo4.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo5.log //所有文件都被完整复制一遍，进行存储

分别在所有节点服务器中查看分布式条带卷存放方式

[root@node1 ~]# ll -h /data/sdd1/ 总用量 80M -rw-r--r--. 2 root root 20M 12月 18 16:23 demo1.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo2.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo3.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo4.log [root@node2 ~]# ll -h /data/sdd1/ 总用量 80M -rw-r--r--. 2 root root 20M 12月 18 16:23 demo1.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo2.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo3.log -rw-r--r--. 2 root root 20M 12月 18 16:23 demo4.log [root@node3 ~]# ll -h /data/sdd1/ 总用量 20M -rw-r--r--. 2 root root 20M 12月 18 16:23 demo5.log [root@node4 ~]# ll -h /data/sdd1/ 总用量 20M -rw-r--r--. 2 root root 20M 12月 18 16:23 demo5.log //根据哈希算法将部分数据分布到前两个节点各存储一般，另一部分数据分配到另外两个节点各存储一半

分别在所有节点服务器中查看分布式复制卷存放方式

[root@node1 ~]# ll -h /data/sde1/ 总用量 160M -rw-r--r--. 2 root root 40M 12月 18 16:23 demo1.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo2.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo3.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo4.log [root@node2 ~]# ll -h /data/sde1/ 总用量 160M -rw-r--r--. 2 root root 40M 12月 18 16:23 demo1.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo2.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo3.log -rw-r--r--. 2 root root 40M 12月 18 16:23 demo4.log [root@node3 ~]# ll -h /data/sde1/ 总用量 40M -rw-r--r--. 2 root root 40M 12月 18 16:23 demo5.log [root@node4 ~]# ll -h /data/sde1/ 总用量 40M -rw-r--r--. 2 root root 40M 12月 18 16:23 demo5.log 通过哈希算分布在两个节点上存储，另外两个节点分别保存副本

在node1删除卷

[root@node1 ~]# gluster volume list //查看已有的卷 die-replica dis-stripe dis-vol rep-vol stripe-vol [root@node1 ~]# gluster volume stop rep-vol //停止要删除的卷 topping volume will make its data inaccessible. Do you want to continue? (y/n) y //输入y确认停止 volume stop: rep-vol: success [root@node1 ~]# gluster volume delete rep-vol //执行命令删除卷 Deleting volume will erase all information about the volume. Do you want to continue? (y/n) y volume delete: rep-vol: success //成功删除 [root@node1 ~]# gluster volume list //再次查看卷，已成功删除 die-replica dis-stripe dis-vol stripe-vol

访问控制设置

gluster volume set dis-vol auth.reject 192.168.116.130 //设置拒绝主机访问、挂载 gluster volume set dis-vol auth.allow 192.168.116.130 //设置允许主机访问、挂载