• GFS分布式存储

    glusterFS 简介

    GFS 是一个分布式文件系统，只在扩展存储容量，提高性能，并且通过多个互联网络的存储节点的数据进行冗余，以确保数据的可用性和一致性

    GFS由三个部分组成：

    1. 存储服务器

    2. 客户端以及 FNS/Samba 存储网关组成

    3. 无元数据服务器 ：就是保存数据的地方

    glusterFS特点

    1. 扩展性和高性能 ：分布式的特性

    2. 高可用性 ：冗余和备灾的能力

    3. 全局统一命名空间 ：

    4. 弹性卷管理 ：raid0、1、5、6、10

    5. 基于标准协议 ：【NFS、CIFS、HTTP、FTP、SMB……】

    glusterFS术语

    • brick ：块

    • volume ：逻辑卷 （分区/组）

    • fuse ：内核模块，允许用户创建自己的文件系统（伪文件系统）

    • vfs ：虚拟接口，内核空间对用户空间提供的访问磁盘接口

    • glusterd (后台管理进程)：服务端 ，在存储集群中每个节点上都要运行

    glusterFS工作原理

    1. 客户端或应用程序通过 GFS 的挂载点访问数据。

    2. linux系统内核通过 vfs API 收到请求并处理。

    3. vfs 将数据递交给 fuse 内核文件系统，并向系统注册一个实际的文件系统 fuse，而 fuse文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GFS client 端。可以将 fuse文件系统理解为一个代理

    4. GlusterFS client 收到数据后，客户端根据配置文件的配置对数据进行处理

    5. 经过 GlusterFS client 处理后，通过网络将数据传递至远端的 GlusterFS Server，并且将数据写入到服务器存储设备上

    6. 通过虚拟接口，直接存入到文件系统

     

    弹性HASH算法：

    • 通过HASH算法得到一个32为整数

    • 划分为N个连续的子空间，每个空间对应一个brick

    弹性HASH算法的优点

    • 保证数据平均分布在每一个brick中

    • 解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈

    glusterFS卷类型

    1. 分布式卷：以文件为单位通过 hash算法散列在各个brick中不具备冗余能力
      特点 ：

      • 文件分布在不同的服务器，不具备冗余性

      • 更容易和廉价地扩展卷的大小

      • 单点故障会造成数据丢失

      • 依赖底层的数据保护

        1. 要求：创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2中：
        2. 命令：gluster volume create  dis-volume serber1:/dir1 server2:/dir2

    2. 条带卷：把文件数据进行分块，轮询的分布在各个brick中，不具备冗余能力
      特点：

      • 数据被分割成更小块分布到块服务器群中的不同条带区

      • 分布减少了负载且更小的文件加速了存取的速度

      • 没有数据冗余

        1. 要求：创建了一个名为stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中
        2. 命令：gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2
    3. 复制卷：把文件在各个brick中做镜像存储 ，具备冗余能力
      特点：

      • 卷中所有的服务器均保存一个完整的副本

      • 卷的副本数量可由客户创建的时候决定

      • 至少有两个块服务器或更多服务器

      • 具备冗余性

        1. 要求：创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中
        2. 命令：gluster volume create rep-volume replica 2 transport tcp serverl:/dirl server2:/dir2
    4. 分布式条带卷：不具备冗余能力，至少要4个brick【brick数量 >= 条代数的两倍 】

      特点：兼具分布式卷和条带卷的特点 

    5. 分布式复制卷：具备冗余能力，至少要4个brick【brick数量 >= 副本数的两倍 】

      特点 ：兼具分布式卷和复制卷的特点

    6. 条带复制卷

    7. 分布式条带复制卷

    扩展其他的维护命令:

    1. 1.查看卷列表（卷名）：gluster volume list
    2. 2.查看所有卷的信息：gluster volume info
    3. 3.查看所有卷的状态：gluster volume status
    4. 4，停止一个卷：gluster volume stop dis-stripe
    5. 5，删除一个卷，注意:删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功：
    6.    gluster yolume delete dis-stripe
    7. 6，设置卷的访问控制 
    8. #仅拒绝：
    9.    gluster volume set dis-rep auth,deny 192.168.86.11
    10. #仅允许：
    11.    gluster volume set dis-rep auth.allow 192.168.86.*
    12. #设置192.168.86.0网段的所有IP地址都能访间dis-rep卷(分布式复制卷)

    部署 glusterFS 集群

    1. Node1节点：node1/192.168.86.11		  磁盘：/dev/sdb1		    挂载点：/data/sdb1
    2. 											/dev/sdc1					/data/sdc1
    3. 											/dev/sdd1					/data/sdd1
    4. 											/dev/sde1					/data/sde1
    5. Node2节点：node2/192.168.86.22		  磁盘：/dev/sdb1			挂载点：/data/sdb1
    6. 											/dev/sdc1					/data/sdc1
    7. 											/dev/sdd1					/data/sdd1
    8. 											/dev/sde1					/data/sde1
    9. Node3节点：node3/192.168.86.33		  磁盘：/dev/sdb1			挂载点：/data/sdb1
    10. 											/dev/sdc1					/data/sdc1
    11. 											/dev/sdd1					/data/sdd1
    12. 											/dev/sde1					/data/sde1
    13. Node4节点：node4/192.168.86.66		  磁盘：/dev/sdb1			挂载点：/data/sdb1
    14. 											/dev/sdc1					/data/sdc1
    15. 											/dev/sdd1					/data/sdd1
    16. 											/dev/sde1					/data/sde1
    17. 客户端节点：192.168.86.77

    准备环境（所有node节点上操作）

    1. 1．关闭防火墙
    2. systemctl stop firewalld
    3. setenforce 0
    4.  
    5. 2．磁盘分区，并挂载
    6. vim /opt/fdisk.sh
    7. #!/bin/bash
    8. NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
    9. for VAR in $NEWDEV
    10. do
    11.    echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
    12.    mkfs.xfs /dev/${VAR}"1" &> /dev/null
    13.    mkdir -p /data/${VAR}"1" &> /dev/null
    14.    echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
    15. done
    16. mount -a &> /dev/null
    17. wq！
    18. chmod +x /opt/fdisk.sh
    19. cd /opt/
    20. ./fdisk.sh
    21.  
    22. 3．修改主机名，配置/etc/hosts文件（#以Node1节点为例：）
    23. hostnamectl set-hostname node1
    24. su
    25. echo "192.168.86.11 node1" >> /etc/hosts
    26. echo "192.168.86.22 node2" >> /etc/hosts
    27. echo "192.168.86.33 node3" >> /etc/hosts
    28. echo "192.168.86.66 node4" >> /etc/hosts

    安装、启动GlusterFS（所有node节点上操作）

    1. cd /etc/yum.repos.d/
    2. mkdir repo.bak
    3. mv *.repo repo.bak
    4. vim glfs.repo
    5. [glfs]
    6. name=glfs
    7. baseurl=file:///opt/gfsrepo
    8. gpgcheck=0
    9. enabled=1
    10. yum clean all && yum makecache
    11. yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
    12. systemctl start glusterd.service 
    13. systemctl enable glusterd.service
    14. systemctl status glusterd.service

    添加节点到存储信任池中（在 node1 节点上操作）（192.168.86.11）

    1. #只要在一台Node节点上添加其它节点即可
    2. gluster peer probe node1
    3. gluster peer probe node2
    4. gluster peer probe node3
    5. gluster peer probe node4
    6. #在每个Node节点上查看群集状态
    7. gluster peer status

     创建卷

    1. #根据规划创建如下卷：
    2. 卷名称 				卷类型				Brick
    3. dis-volume			分布式卷			node1(/data/sdb1)、node2(/data/sdb1)
    4. stripe-volume		条带卷			node1(/data/sdc1)、node2(/data/sdc1)
    5. rep-volume			复制卷			node3(/data/sdb1)、node4(/data/sdb1)
    6. dis-stripe			分布式条带卷		node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
    7. dis-rep				分布式复制卷		node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)
    1. 创建分布式卷
    2. #创建分布式卷，没有指定类型，默认创建的是分布式卷
    3. gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force	
    4. #查看卷列表：gluster volume list
    5. #启动新建分布式卷：gluster volume start dis-volume
    6. #查看创建分布式卷信息：gluster volume info dis-volume

    1. 创建条带卷
    2. #指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷
    3. gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
    4. gluster volume start stripe-volume
    5. gluster volume info stripe-volume

    1. 创建复制卷
    2. #指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷
    3. gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
    4. gluster volume start rep-volume
    5. gluster volume info rep-volume

    1. 创建分布式条带卷
    2. #指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷
    3. gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
    4. gluster volume start dis-stripe
    5. gluster volume info dis-stripe

    1. 创建分布式复制卷
    2. 指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷
    3. gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
    4. gluster volume start dis-rep
    5. gluster volume info dis-rep

     部署 Gluster 客户端（192.168.86.77）

    1. 1．安装客户端软件
    2. #将gfsrepo 软件上传到/opt目下 
    3. cd /etc/yum.repos.d/
    4. mkdir repo.bak
    5. mv *.repo repo.bak
    6. vim glfs.repo
    7. [glfs]
    8. name=glfs
    9. baseurl=file:///opt/gfsrepo
    10. gpgcheck=0
    11. enabled=1
    12. yum clean all && yum makecache
    13. yum -y install glusterfs glusterfs-fuse
    1. 2．创建挂载目录
    2. mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
    3. ls /test
    4. 3．配置 /etc/hosts 文件
    5. echo "192.168.86.11 node1" >> /etc/hosts
    6. echo "192.168.86.22 node2" >> /etc/hosts
    7. echo "192.168.86.33 node3" >> /etc/hosts
    8. echo "192.168.86.66 node4" >> /etc/hosts
    9. 4．挂载 Gluster 文件系统
    10. #临时挂载
    11. mount.glusterfs node1:dis-volume /test/dis
    12. mount.glusterfs node1:stripe-volume /test/stripe
    13. mount.glusterfs node1:rep-volume /test/rep
    14. mount.glusterfs node1:dis-stripe /test/dis_stripe
    15. mount.glusterfs node1:dis-rep /test/dis_rep
    16. df -Th

     

    测试 Gluster 文件系统 ，客户端操作 

    1. cd /opt
    2. dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
    3. dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
    4. dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
    5. dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
    6. dd if=/dev/zero of=/opt/demo5.log bs=1M count=40

    ls -lh /opt

     

    1. cp /opt/demo* /test/dis
    2. cp /opt/demo* /test/stripe/
    3. cp /opt/demo* /test/rep/
    4. cp /opt/demo* /test/dis_stripe/
    5. cp /opt/demo* /test/dis_rep/

    2．查看文件分布

    1. #查看分布式文件分布
    2. [root@node1 ~]# ls -lh /data/sdb1
    3. 总用量 160M				
    4. -rw-r--r-- 2 root root 40M 12月 18 14:50 demo1.log
    5. -rw-r--r-- 2 root root 40M 12月 18 14:50 demo2.log
    6. -rw-r--r-- 2 root root 40M 12月 18 14:50 demo3.log
    7. -rw-r--r-- 2 root root 40M 12月 18 14:50 demo4.log
    8.  
    9. [root@node2 ~]# ll -h /data/sdb1
    10. 总用量 40M
    11. -rw-r--r-- 2 root root 40M 12月 18 14:50 demo5.log
    1. #查看条带卷文件分布
    2. [root@node1 ~]# ls -lh /data/sdc1		#数据被分片50% 没副本 没冗余
    3. 总用量 101M
    4. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
    5. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
    6. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
    7. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
    8. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log
    9.  
    10. [root@node2 ~]# ll -h /data/sdc1		#数据被分片50% 没副本 没冗余
    11. 总用量 101M
    12. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
    13. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
    14. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
    15. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
    16. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log
    1. #查看复制卷分布
    2. [root@node3 ~]# ll -h /data/sdb1	#数据没有被分片 有副本 有冗余     
    3. 总用量 201M
    4. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log
    5. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log
    6. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log
    7. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log
    8. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log
    9.  
    10. [root@node4 ~]# ll -h /data/sdb1	#数据没有被分片 有副本 有冗余
    11. 总用量 201M
    12. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo1.log
    13. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo2.log
    14. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo3.log
    15. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo4.log
    16. -rw-r--r-- 2 root root 40M 12月 18 14:51 demo5.log
    1. #查看分布式条带卷分布
    2. [root@node1 ~]# ll -h /data/sdd1	#数据被分片50% 没副本 没冗余
    3. 总用量 81M
    4. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
    5. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
    6. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
    7. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
    8.  
    9. [root@node2 ~]# ll -h /data/sdd1
    10. 总用量 81M
    11. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo1.log
    12. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo2.log
    13. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo3.log
    14. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo4.log
    15.  
    16. [root@node3 ~]# ll -h /data/sdd1
    17. 总用量 21M
    18. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log
    19.  
    20. [root@node4 ~]# ll -h /data/sdd1
    21. 总用量 21M
    22. -rw-r--r-- 2 root root 20M 12月 18 14:51 demo5.log
    1. #查看分布式复制卷分布				#数据没有被分片 有副本 有冗余
    2. [root@node1 ~]# ll -h /data/sde1
    3. 总用量 161M
    4. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log
    5. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log
    6. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log
    7. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log
    8.  
    9. [root@node2 ~]# ll -h /data/sde1
    10. 总用量 161M
    11. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo1.log
    12. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo2.log
    13. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo3.log
    14. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo4.log
    15.  
    16. [root@node3 ~]# ll -h /data/sde1
    17. 总用量 41M
    18. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log
    19.  
    20. [root@node4 ~]# ll -h /data/sde1
    21. 总用量 41M
    22. -rw-r--r-- 2 root root 40M 12月 18 14:52 demo5.log

    破坏性测试：挂起 node2 节点

    1. #在客户端上查看文件是否正常
    2. 分布式卷数据查看   
    3. [root@localhost test]# ll /test/dis/		#在客户机上发现少了demo5.log文件，这个是在node2上的
    4. 总用量 163840
    5. -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log
    6. -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log
    7. -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log
    8. -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log
    9.  
    10. #条带卷
    11. [root@localhost test7]# ll /test/stripe/		#无法访问，条带卷不具备冗余性
    12. 总用量 0
    13.  
    14. #分布式条带卷
    15. [root@localhost test7]# ll /test/dis_stripe/		#无法访问，分布条带卷不具备冗余性
    16. 总用量 40960
    17. -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log
    18.  
    19. #分布式复制卷
    20. [root@localhost test7]# ll /test/dis_rep/	#可以访问，分布式复制卷具备冗余性
    21. 总用量 204800
    22. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
    23. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
    24. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
    25. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
    26. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log

     

  • 相关阅读:
    顺带来聊聊MySQL误删ibdata数据文件的恢复
    Shiro安全（四）：Shiro权限绕过之Shiro-782
    Oracle开启Supplemental Logging补充日志
    【图解设计模式】适配器模式
    ftplib模块--ftp密码爆破
    【OpenCV学习】第6课:图像模糊（中值滤波，高斯双边滤波）
    一篇文章彻底搞懂TiDB集群各种容量计算方式
    自组织神经网络算法流程,神经网络算法流程设计
    gstreamer插件开发-Specifying the pads
    数字营销卷得再狠，「阿琉克斯之踵」不能忽视
  • 原文地址：https://blog.csdn.net/2301_78069073/article/details/132846909