• GFS分布式文件系统&实验

    GFS概念

    Gluster 是一个开源的分布式文件系统

    它是一个C/S架构

    由存储服务器、客户端以及NFS/Samba存储网关组成

    没有元数据服务器组件，这有助于提升整个系统的性能，可靠性和稳定性

    文件系统定义

    负责实现数据存储方式，以什么格式保存在磁盘中的一个技术

    GlusterFS特点

    扩展性和高性能

    分布式的特性

    高可用性

    冗余、容灾的能力

    全局统一命令空间

    将所有节点的命名空间整个统一命令空间。将整个系统的所有节点的存储容量组成一个大的虚拟存储池，供客户端访问

    弹性卷管理

    逻辑存储池可以在线进行增加和移除，不会导致业务中断。逻辑卷可以根据需求在线增长和缩减，并可以在多个节点中实现负载均衡

    基于标准协议

    按照什么协议进行传输（TCP/UDP），Gluster 存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议，完全与 POSIX 标准（可移植操作系统接口）兼容

    GlusterFS专业术语

    Brick（块存储服务器）

    实际存储用户数据的服务器（相当于逻辑卷中的PE）

    Volume（逻辑卷）

    一个逻辑卷是一组Brick的集合，卷是数据存储的逻辑设备

    本地文件系统的“分区”

    FUSE（用户空间的文件系统）

    用户的空间的文件系统（类别EXT4），这是一个”伪文件系统（就是虚拟的文件系统）“，用户端的交换模块

    VFS（虚拟端口）

    用户是提交请求给VFS，然后VFS交给FUSH，再交给GFS客户端，最后由客户端交给远程服务端进行存储

    Glusterd（服务）

    是运行再存储节点的进程（客户端运行的是gluster client），GFS使用过程中整个GFS之间的交换由Gluster client 和 glusterd 完成

    GlusterFS构成

    模块化堆栈式架构

    • GlusterFS 采用模块化、堆栈式的架构
    • 通过对模块进行各种组合，即可实现复杂的功能。例如 Replicate 模块可实现 RAID1，Stripe 模块可实现 RAID0， 通过两者的组合可实现 RAID10 和 RAID01，同时获得更高的性能及可靠性

    API

    • 应用程序编程接口

    模块化

    • 每个模块可以提供不同的功能

    推栈式

    • 同时启用多个模块，多个功能功能可以组合，实现复杂的功能

    1、GlusterFS总流程

    • I/O cache ： I/O缓存
    • read ahead ： 内核文件预读
    • distribute/stripe： 分布式、条带化
    • Gige： 千兆网/千兆接口
    • TCP/IP： 网络协议
    • InfiniBand： 网络协议，与TCP/IP具有转发丢失数据包的特性，基于此通信协议可能导致通信变慢，而IB使用基于信任的，流程制的机制来保证连接的完整性。
    • RDMA： 负责数据传输，有一种数据传输协议，功能：为了解决传输过程中客户端与服务器端数据处理的延迟。

    上半部分为客户端，中间为网络层，下班部分为服务端

    • 封装多核功能模块，组成推栈式的结构，来实现复杂的功能。
    • 然后以请求的方式与客户端进行交互，客户端与服务端进行交互，由于可能会存在系统兼容问题，需要通过posix来解决系统兼容性问题，让客户端的命令通过posix过滤后可以在服务端执行。

    2、GFS的工作原理

    上图说明

    ①外来一个请求，例：用户端申请创建一个文件，客户端或应用程序通过GFS的挂载点访问数据。

    ②linux系统内核通过VFS的API收到请求并处理。

    ③VFS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给GluseterFS client端。

    ④GlusterFS client端收到数据后，会根据配置文件的配置对数据进行处理。

    ⑤再通过网络，将数据发送给远程端的Gluster server，并将数据写入到服务器储存设备上。

    ⑥server再将数据转交给VFS虚拟文件系统转换，再由VFS进行CFS转存处理，最后交给EXT3文件系统，最后存储到磁盘中。

    3、分布式gfs服务器存储

    分布式GFS存储是依靠于弹性hash算法，通过对存储内容进行hash算法的运算，可以得到32位的整数，将32位整数平均划分到 分布式服务器中，也就是每一个brick对应一段整数范围。用户根据计算得出数字找到对应的brick块。

    弹性HASH算法

    • 弹性 HASH 算法是 Davies-Meyer 算法的具体实现，通过 HASH 算法可以得到一个 32 位的整数范围的 hash 值，
    • 假设逻辑卷中有 N 个存储单位 Brick，则 32 位的整数范围将被划分为 N 个连续的子空间，每个空间对应一个 Brick。
    • 当用户或应用程序访问某一个命名空间时，通过对该命名空间计算 HASH 值，根据该 HASH 值所对应的 32 位整数空间定位数据所在的 Brick。

    弹性HASH算法的优点

    • 保证数据平均分布在每一个Brick中
    • 解决了对元数据服务器的依赖,进而解决了单点故障

    四、GlusterFS的卷类型

    1、分布式卷

    • 没有对文件进行分块处理
    • 通过扩展文件属性保存HASH值
    • 支持底层文件系统有EXT3、EXT4、ZFS、XFS等

    特点：

    • 文件分布在不同的服务器，不具备冗余性
    • 更容易和廉价的扩展卷的大小。
    • 单点故障会造成数据丢失
    • 依赖底层的数据保护

    2、条带卷

    • 根据偏移量将文件分成N块（N个条带节点），轮询的存储在每个Brick Server节点
    • 存储大文件时，性能尤为突出
    • 不具备冗余性，类似Raid0

    特点

    • 数据被分割成更小块分布到块服务器群集中的不同条带区。
    • 分布减少了负载且更小的文件加速了存取的速度。
    • 没有数据冗余

    3、复制卷

    • 同一文件保存一份或多份副本
    • 因为要保存副本，所以磁盘利用率较低
    • 若多个节点上的存储空间不一致，将按照木桶效应取最低点的容量作为该卷的总容量。

    特点

    • 卷中所有的服务器均保存一个完整的副本
    • 卷的副本数量可由创建的时候决定，但是复制必须等于卷中Brick所包含的存储服务器数。
    • 至少由两块服务器或更多服务器
    • 具备冗余性

    4、分布式条带卷

    • 兼顾分布式卷和条带卷的功能
    • 主要用于大文件访问处理
    • 至少最少需要4台服务器

    5、分布式复制卷

    • 兼顾分布式卷和复制卷的功能
    • 用于需要冗余的情况

    五、部署GlusterFS集群实验

    1、集群环境

    1. Node1节点：node1/192.168.154.40	  磁盘： /dev/sdb1			挂载点： /data/sdb1
    2. 								  /dev/sdc1					/data/sdc1
    3. 								  /dev/sdd1					/data/sdd1
    4. 								  /dev/sde1					/data/sde1
    5.  
    6. Node2节点：node2/192.168.154.50	  磁盘： /dev/sdb1			挂载点： /data/sdb1
    7. 								  /dev/sdc1					/data/sdc1
    8. 								  /dev/sdd1					/data/sdd1
    9. 								  /dev/sde1					/data/sde1
    10.  
    11. Node3节点：node3/192.168.154.60  磁盘： /dev/sdb1			挂载点： /data/sdb1
    12. 								  /dev/sdc1					/data/sdc1
    13. 								  /dev/sdd1					/data/sdd1
    14. 								  /dev/sde1					/data/sde1
    15.  
    16. Node4节点：node4/192.168.154.70    磁盘： /dev/sdb1		挂载点： /data/sdb1
    17. 								   /dev/sdc1				/data/sdc1
    18. 								   /dev/sdd1				/data/sdd1
    19. 								   /dev/sde1				/data/sde1
    20.  
    21. =====客户端节点：192.168.154.30=====

    更改节点主机名称、关闭防火墙

    以下四台服务器相同操作，分别命名名称为：node1、node2、node3、node4

    1. [root@ydq1 ~]# systemctl stop firewalld
    2. [root@ydq1 ~]# setenforce 0
    3. [root@ydq1 ~]# hostnamectl set-hostname node1
    4. [root@ydq1 ~]# su
    5. [root@node1 ~]#

    节点进行磁盘挂载，安装本地源

    所有节点都需要做，这边以node1为例

    1. ------------------------编写自动分区脚本，并执行---------------------------
    2. [root@node1 ~] # vim /opt/fdisk.sh
    3.  
    4. #!/bin/bash
    5. NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
    6. for VAR in $NEWDEV
    7. do
    8.    echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
    9.    mkfs.xfs /dev/${VAR}"1" &> /dev/null
    10.    mkdir -p /data/${VAR}"1" &> /dev/null
    11.    echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
    12. done
    13. mount -a &> /dev/null
    14.  
    15. :wq
    16.  
    17. [root@node1 ~] # chmod +x /opt/fdisk.sh
    18. [root@node1 ~] # cd /opt/
    19. [root@node1 /opt] # ./fdisk.sh
    20.  
    21. -----------------------创建本地DNS-------------------------------
    22. [root@node1 /opt] # echo "20.0.0.55 node1" >> /etc/hosts
    23. [root@node1 /opt] # echo "20.0.0.56 node2" >> /etc/hosts
    24. [root@node1 /opt] # echo "20.0.0.57 node3" >> /etc/hosts
    25. [root@node1 /opt] # echo "20.0.0.58 node4" >> /etc/hosts
    26.  
    27. ----------------------上传gfsrepo软件到/opt目录下
    28. [root@node1 /opt] # ls
    29. fdisk.sh  rh
    30. [root@node1 /opt] # rz -E
    31. rz waiting to receive.
    32. [root@node1 /opt] # ls
    33. fdisk.sh  gfsrepo.zip  rh
    34. [root@node1 /opt] # unzip gfsrepo.zip 
    35.  
    36. ----------------------编写创建本地源脚本，并执行------------------------
    37. [root@node1 opt]# vim /opt/gfs.sh
    38.  
    39. cd /etc/yum.repos.d/
    40. mkdir repo.bak
    41. mv *.repo repo.bak
    42.  
    43. echo '[glfs]
    44. name=glfs
    45. baseurl=file:///opt/gfsrepo
    46. gpgcheck=0
    47. enabled=1' > glfs.repo
    48.  
    49. [root@node1 opt]# chmod +x gfs.sh 
    50. yum clean all && yum makecache
    51.  
    52. --------------------安装glusterd服务，并启动---------------------
    53. [root@node1 opt]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
    54. [root@node1 opt]# systemctl start glusterd.service
    55. [root@node1 opt]# systemctl enable glusterd.service
    56. [root@node1 opt]# systemctl status glusterd.service

    添加节点创建集群

    添加节点到存储信任池中（仅需在一个节点上操作，我这里依旧在node1节点上操作）

    1. ---------------------添加集群节点---------------------------
    2. [root@node1 opt]# gluster peer probe node1
    3. peer probe: success. Probe on localhost not needed
    4. [root@node1 opt]# gluster peer probe node2
    5. peer probe: success. 
    6. [root@node1 opt]# gluster peer probe node3
    7. peer probe: success. 
    8. [root@node1 opt]# gluster peer probe node4
    9. peer probe: success. 
    10.  
    11. ------------------查看集群节点-------------------------------
    12. [root@node1 opt]# gluster peer status
    13. Number of Peers: 3
    14.  
    15. Hostname: node2
    16. Uuid: d7a3589b-da11-4f39-ac2a-f34416ca88a6
    17. State: Peer in Cluster (Connected)
    18.  
    19. Hostname: node3
    20. Uuid: c57b2162-3f76-45ae-b139-fead1580a6f5
    21. State: Peer in Cluster (Connected)
    22.  
    23. Hostname: node4
    24. Uuid: d4a0dc1c-31c5-4731-a7a1-783784325458
    25. State: Peer in Cluster (Connected)

    根据规划创建卷 

    1. ========根据以下规划创建卷=========
    2. 卷名称 				卷类型				Brick
    3. dis-volume			分布式卷			node1(/data/sdb1)、node2(/data/sdb1)
    4. stripe-volume		条带卷			node1(/data/sdc1)、node2(/data/sdc1)
    5. rep-volume			复制卷			node3(/data/sdb1)、node4(/data/sdb1)
    6. dis-stripe			分布式条带卷		node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
    7. dis-rep				分布式复制卷		node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

    创建分布式卷

    创建条带卷

    创建复制卷

    创建分布式条带卷

    创建分布式复制卷

    查看创建的卷种类

    客户端

    客户端测试

    创建文件数据

    查看挂载的数据

    破坏性测试

    挂起 node2 节点或者关闭glusterd服务来模拟故障
    [root@node2 ~]# systemctl stop glusterd.service
    在客户端上查看文件是否正常

    分布式卷

    1. [root@promote test]# ll /test/dis/
    2. 总用量 163840
    3. -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log
    4. -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log
    5. -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log
    6. -rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log

    条带卷

    1. [root@ test]# cd /test/stripe/		#无法访问，条带卷不具备冗余性
    2. [root@promote stripe]# ll
    3. 总用量 0

    分布式条带卷

    1. [root@promote test]# ll /test/dis_stripe/		#无法访问，分布条带卷不具备冗余性
    2. 总用量 40960
    3. -rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log

    分布式复制卷

    1. [root@promote test]# ll /test/dis_rep/	#可以访问，分布式复制卷具备冗余性
    2. 总用量 204800
    3. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
    4. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
    5. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
    6. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
    7. -rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log

    总结

    复制卷(rep)、分布式复制卷(dis-rep) 具有冗余性；其余的没有

    其它维护命令

    1. 1．查看GlusterFS卷
    2. gluster volume list 
    3.  
    4. 2．查看所有卷的信息
    5. gluster volume info
    6.  
    7. 3．查看所有卷的状态
    8. gluster volume status
    1. 4．停止一个卷
    2. gluster volume stop dis-stripe
    3.  
    4. 5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
    5. gluster volume delete dis-stripe
    6.  
    7. 6．设置卷的访问控制
    8. #仅拒绝
    9. gluster volume set dis-rep auth.deny 192.168.80.100
    10.  
    11. 7.仅允许
    12. gluster volume set dis-rep auth.allow 192.168.80.*	  #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）

  • 相关阅读:
    nacos服务注册源码过程阅读
    mysql多列索引（组合索引）特点和使用场景
    （黑马C++）L03 对象的构造和析构
    iperf-2.0.9 在 Linux下的编译 与 海思平台的交叉编译
    Docker 【Nginx集群部署】
    composer 安装如何彻底删除
    Redis 哨兵集群工作原理
    当事务遇上分布式锁
    Elasticsearch-06-Elasticsearch Java API Client
    【卫朋】智能硬件 | 做好一款电子硬件产品，工具必不可少
  • 原文地址：https://blog.csdn.net/ZWH9991/article/details/133861326