• GFS分布式文件系统

    文章目录

    一、GlusterFS简介

    1、GlusterFS是什么？

    • Gluster是一个 开源的分布式文件系统。
    • 是一个C/S架构。
      • 由存储服务器、客户端以及NFS/Samba存储网关组成。
    • 没有元数据服务器组件，这有助于提升整个系统的性能，可靠性和稳定性。

    文件系统定义

    • 负责实现数据存储方式，以什么格式保存在磁盘中的一个技术。

    2、GlusterFS特点

    扩展性和高性能

    • 分布式的特性

    高可用性

    • 冗余、容灾的能力

    全局统一命令空间

    • 将所有节点的命名空间整个统一命令空间。将整个系统的所有节点的存储容量组成一个大的虚拟存储池，供客户端访问。

    弹性卷管理

    • 逻辑存储池可以在线进行增加和移除，不会导致业务中断。逻辑卷可以根据需求在线增长和缩减，并可以在多个节点中实现负载均衡。

    基于标准协议

    • 按照什么协议进行传输（TCP/UDP），Gluster 存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议，完全与 POSIX 标准（可移植操作系统接口）兼容。

    二、GlusterFS专业术语

    1、Brick（块存储服务器）

    • 实际存储用户数据的服务器（相当于逻辑卷中的PE）

    2、Volume（逻辑卷）

    • 一个逻辑卷是一组Brick的集合，卷是数据存储的逻辑设备。

    • 本地文件系统的“分区”

    3、FUSE（用户空间的文件系统）

    • 用户的空间的文件系统（类别EXT4），这是一个”伪文件系统（就是虚拟的文件系统）“，用户端的交换模块。

    4、VFS（虚拟端口）

    • 用户是提交请求给VFS，然后VFS交给FUSH，再交给GFS客户端，最后由客户端交给远程服务端进行存储。

    5、Glusterd（服务）

    • 是运行再存储节点的进程（客户端运行的是gluster client），GFS使用过程中整个GFS之间的交换由Gluster client 和 glusterd 完成。

    4．模块化堆栈式架构

    • GlusterFS 采用模块化、堆栈式的架构。
    • 通过对模块进行各种组合，即可实现复杂的功能。例如 Replicate 模块可实现 RAID1，Stripe 模块可实现 RAID0， 通过两者的组合可实现 RAID10 和 RAID01，同时获得更高的性能及可靠性。

    总结：以上虚拟文件系统

    三、GlusterFS构成

    模块化推栈式架构

    • 模块化、推栈式的架构
    • 通过对模块的组合，实现复杂的功能

    1、API： 应用程序编程接口

    2、模块化： 每个模块可以提供不同的功能

    3、推栈式： 同时启用多个模块，多个功能功能可以组合，实现复杂的功能

    1、GlusterFS总流程

    在这里插入图片描述

    • I/O cache ： I/O缓存
    • read ahead ： 内核文件预读
    • distribute/stripe： 分布式、条带化
    • Gige： 千兆网/千兆接口
    • TCP/IP： 网络协议
    • InfiniBand： 网络协议，与TCP/IP具有转发丢失数据包的特性，基于此通信协议可能导致通信变慢，而IB使用基于信任的，流程制的机制来保证连接的完整性。
    • RDMA： 负责数据传输，有一种数据传输协议，功能：为了解决传输过程中客户端与服务器端数据处理的延迟。

    上半部分为客户端，中间为网络层，下班部分为服务端

    • 封装多核功能模块，组成推栈式的结构，来实现复杂的功能。
    • 然后以请求的方式与客户端进行交互，客户端与服务端进行交互，由于可能会存在系统兼容问题，需要通过posix来解决系统兼容性问题，让客户端的命令通过posix过滤后可以在服务端执行。

    2、GFS的工作原理

    在这里插入图片描述

    上图说明

    ①外来一个请求，例：用户端申请创建一个文件，客户端或应用程序通过GFS的挂载点访问数据。

    ②linux系统内核通过VFS的API收到请求并处理。

    ③VFS将数据递交给FUSE内核文件系统，fuse文件系统则是将数据通过/dev/fuse设备文件递交给GluseterFS client端。

    ④GlusterFS client端收到数据后，会根据配置文件的配置对数据进行处理。

    ⑤再通过网络，将数据发送给远程端的Gluster server，并将数据写入到服务器储存设备上。

    ⑥server再将数据转交给VFS虚拟文件系统转换，再由VFS进行CFS转存处理，最后交给EXT3文件系统，最后存储到磁盘中。

    3、分布式gfs服务器存储

    分布式GFS存储是依靠于弹性hash算法，通过对存储内容进行hash算法的运算，可以得到32位的整数，将32位整数平均划分到 分布式服务器中，也就是每一个brick对应一段整数范围。用户根据计算得出数字找到对应的brick块。

    弹性HASH算法

    • 弹性 HASH 算法是 Davies-Meyer 算法的具体实现，通过 HASH 算法可以得到一个 32 位的整数范围的 hash 值，
    • 假设逻辑卷中有 N 个存储单位 Brick，则 32 位的整数范围将被划分为 N 个连续的子空间，每个空间对应一个 Brick。
    • 当用户或应用程序访问某一个命名空间时，通过对该命名空间计算 HASH 值，根据该 HASH 值所对应的 32 位整数空间定位数据所在的 Brick。

    弹性HASH算法的优点

    • 保证数据平均分布在每一个Brick中
    • 解决了对元数据服务器的依赖,进而解决了单点故障

    四、GlusterFS的卷类型

    1、分布式卷

    • 没有对文件进行分块处理
    • 通过扩展文件属性保存HASH值
    • 支持底层文件系统有EXT3、EXT4、ZFS、XFS等
      在这里插入图片描述

    特点：

    • 文件分布在不同的服务器，不具备冗余性
    • 更容易和廉价的扩展卷的大小。
    • 单点故障会造成数据丢失
    • 依赖底层的数据保护

    2、条带卷

    • 根据偏移量将文件分成N块（N个条带节点），轮询的存储在每个Brick Server节点
    • 存储大文件时，性能尤为突出
    • 不具备冗余性，类似Raid0

    在这里插入图片描述

    特点

    • 数据被分割成更小块分布到块服务器群集中的不同条带区。
    • 分布减少了负载且更小的文件加速了存取的速度。
    • 没有数据冗余

    3、复制卷

    • 同一文件保存一份或多份副本
    • 因为要保存副本，所以磁盘利用率较低
    • 若多个节点上的存储空间不一致，将按照木桶效应取最低点的容量作为该卷的总容量。

    在这里插入图片描述

    特点

    • 卷中所有的服务器均保存一个完整的副本
    • 卷的副本数量可由创建的时候决定，但是复制必须等于卷中Brick所包含的存储服务器数。
    • 至少由两块服务器或更多服务器
    • 具备冗余性

    4、分布式条带卷

    • 兼顾分布式卷和条带卷的功能
    • 主要用于大文件访问处理
    • 至少最少需要4台服务器

    5、分布式复制卷

    • 兼顾分布式卷和复制卷的功能
    • 用于需要冗余的情况

    五、部署GlusterFS集群实验

    1、集群环境

    在这里插入图片描述

    首先，每台节点添加四块磁盘，大小随意

    Node1节点：node1/20.0.0.55	  磁盘： /dev/sdb1			挂载点： /data/sdb1
								  /dev/sdc1					/data/sdc1
								  /dev/sdd1					/data/sdd1
								  /dev/sde1					/data/sde1

Node2节点：node2/20.0.0.56	  磁盘： /dev/sdb1			挂载点： /data/sdb1
								  /dev/sdc1					/data/sdc1
								  /dev/sdd1					/data/sdd1
								  /dev/sde1					/data/sde1

Node3节点：node3/20.0.0.57	  磁盘： /dev/sdb1			挂载点： /data/sdb1
								  /dev/sdc1					/data/sdc1
								  /dev/sdd1					/data/sdd1
								  /dev/sde1					/data/sde1

Node4节点：node4/20.0.0.58    磁盘： /dev/sdb1		挂载点： /data/sdb1
								   /dev/sdc1				/data/sdc1
								   /dev/sdd1				/data/sdd1
								   /dev/sde1				/data/sde1

=====客户端节点：20.0.0.59=====

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21

    2、更改节点名称和关闭防火墙

    node1（20.0.0.55）

    [root@ydq1 ~]# systemctl stop firewalld
[root@ydq1 ~]# setenforce 0
[root@ydq1 ~]# hostnamectl set-hostname node1
[root@ydq1 ~]# su
[root@node1 ~]# 

    • 1
    • 2
    • 3
    • 4
    • 5

    node1（20.0.0.55）

    [root@ydq2 ~]# systemctl stop firewalld
[root@ydq2 ~]# setenforce 0
[root@ydq2 ~]# hostnamectl set-hostname node2
[root@ydq2 ~]# su
[root@node2 ~]# 

    • 1
    • 2
    • 3
    • 4
    • 5

    node1（20.0.0.55）

    [root@ydq3 ~]# systemctl stop firewalld
[root@ydq3 ~]# setenforce 0
[root@ydq3 ~]# hostnamectl set-hostname node3
[root@ydq3 ~]# su
[root@node3 ~]# 

    • 1
    • 2
    • 3
    • 4
    • 5

    node1（20.0.0.55）

    [root@ydq4 ~]# systemctl stop firewalld
[root@ydq4 ~]# setenforce 0
[root@ydq4 ~]# hostnamectl set-hostname node4
[root@ydq4 ~]# su
[root@node4 ~]# 

    • 1
    • 2
    • 3
    • 4
    • 5

    3、节点进行磁盘挂载，安装本地源

    所有节点都需要做，这边以node1为例

    ------------------------编写自动分区脚本，并执行---------------------------
[root@node1 ~] # vim /opt/fdisk.sh

#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
   echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
   mkfs.xfs /dev/${VAR}"1" &> /dev/null
   mkdir -p /data/${VAR}"1" &> /dev/null
   echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null

========》wq

[root@node1 ~] # chmod +x /opt/fdisk.sh
[root@node1 ~] # cd /opt/
[root@node1 /opt] # ./fdisk.sh

-----------------------创建本地DNS-------------------------------
[root@node1 /opt] # echo "20.0.0.55 node1" >> /etc/hosts
[root@node1 /opt] # echo "20.0.0.56 node2" >> /etc/hosts
[root@node1 /opt] # echo "20.0.0.57 node3" >> /etc/hosts
[root@node1 /opt] # echo "20.0.0.58 node4" >> /etc/hosts

----------------------上传gfsrepo软件到/opt目录下
[root@node1 /opt] # ls
fdisk.sh  rh
[root@node1 /opt] # rz -E
rz waiting to receive.
[root@node1 /opt] # ls
fdisk.sh  gfsrepo.zip  rh
[root@node1 /opt] # unzip gfsrepo.zip 

----------------------编写创建本地源脚本，并执行------------------------
[root@node1 opt]# vim /opt/gfs.sh

cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak

echo '[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1' > glfs.repo

[root@node1 opt]# chmod +x gfs.sh 
yum clean all && yum makecache

--------------------安装glusterd服务，并启动---------------------
[root@node1 opt]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
[root@node1 opt]# systemctl start glusterd.service
[root@node1 opt]# systemctl enable glusterd.service
[root@node1 opt]# systemctl status glusterd.service

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56

    4、添加节点创建集群

    添加节点到存储信任池中（仅需在一个节点上操作，我这里依旧在node1节点上操作）

    ---------------------添加集群节点---------------------------
[root@node1 opt]# gluster peer probe node1
peer probe: success. Probe on localhost not needed
[root@node1 opt]# gluster peer probe node2
peer probe: success. 
[root@node1 opt]# gluster peer probe node3
peer probe: success. 
[root@node1 opt]# gluster peer probe node4
peer probe: success. 

------------------查看集群节点-------------------------------
[root@node1 opt]# gluster peer status
Number of Peers: 3

Hostname: node2
Uuid: d7a3589b-da11-4f39-ac2a-f34416ca88a6
State: Peer in Cluster (Connected)

Hostname: node3
Uuid: c57b2162-3f76-45ae-b139-fead1580a6f5
State: Peer in Cluster (Connected)

Hostname: node4
Uuid: d4a0dc1c-31c5-4731-a7a1-783784325458
State: Peer in Cluster (Connected)

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25

    5、根据规划创建卷

    ========根据以下规划创建卷=========
卷名称 				卷类型				Brick
dis-volume			分布式卷			node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume		条带卷			node1(/data/sdc1)、node2(/data/sdc1)
rep-volume			复制卷			node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe			分布式条带卷		node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep				分布式复制卷		node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    5.1 创建分布式卷

    #创建分布式卷，没有指定类型，默认创建的是分布式卷

[root@node1 ~] # gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-volume: success: please start the volume to access data

[root@node1 ~] # gluster volume list
dis-volume

[root@node1 ~] # gluster volume start dis-volume
volume start: dis-volume: success

[root@node1 ~] # gluster volume info dis-volume
 
Volume Name: dis-volume
Type: Distribute
Volume ID: 8f948537-5ac9-4091-97eb-0bdcf142f4aa
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26

    5.2 创建条带卷

    #指定类型为 stripe，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是条带卷

[root@node1 ~] # gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
volume create: stripe-volume: success: please start the volume to access data

[root@node1 ~] # gluster volume start stripe-volume
volume start: stripe-volume: success

[root@node1 ~] # gluster volume info stripe-volume
 
Volume Name: stripe-volume
Type: Stripe
Volume ID: b1185b78-d396-483f-898e-3519d3ef8e37
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on


    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24

    5.3 创建复制卷

    #指定类型为 replica，数值为 2，且后面跟了 2 个 Brick Server，所以创建的是复制卷

[root@node1 ~] # gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
volume create: rep-volume: success: please start the volume to access data

[root@node1 ~] # gluster volume start rep-volume
volume start: rep-volume: success

[root@node1 ~] # gluster volume info rep-volume
 
Volume Name: rep-volume
Type: Replicate
Volume ID: 9d39a2a6-b71a-44a5-8ea5-5259d8aef518
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on


    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24

    5.4 创建分布式条带卷

    #指定类型为 stripe，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式条带卷

[root@node1 ~] # gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data

[root@node1 ~] # gluster volume start dis-stripe
volume start: dis-stripe: success

[root@node1 ~] # gluster volume info dis-stripe
 
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: beb7aa78-78d1-435f-8d29-c163878c73f0
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on


    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26

    5.5 创建分布式复制卷

    #指定类型为 replica，数值为 2，而且后面跟了 4 个 Brick Server，是 2 的两倍，所以创建的是分布式复制卷

[root@node1 ~] # gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data

[root@node1 ~] # gluster volume start dis-rep
volume start: dis-rep: success

[root@node1 ~] # gluster volume info dis-rep 
 
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: 734e38e6-154c-4425-acca-2342577b14e7
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

=======================
[root@node1 ~] # gluster volume list
dis-rep
dis-stripe
dis-volume
rep-volume
stripe-volume

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33

    6、部署gluster客户端(20.0.0.59)

    ---------------------关闭防火墙、安装gluster包----------------
[root@promote ~]#systemctl stop firewalld
[root@promote ~]#setenforce 0

[root@promote ~]#cd /opt
[root@promote opt]#ls
rh
[root@promote opt]#rz -E
rz waiting to receive.
[root@promote opt]#ls
gfsrepo.zip  rh
[root@promote opt]#unzip gfsrepo.zip 

----------------------编写创建本地源脚本，并执行------------------------
[root@node1 opt]# vim /opt/gfs.sh

cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak

echo '[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1' > glfs.repo

yum clean all && yum makecache
[root@node1 opt]# chmod +x gfs.sh 


--------------------安装glusterfs、创建挂载目录---------------------
[root@node1 opt]# yum -y install glusterfs glusterfs-fuse

[root@promote yum.repos.d]#mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}

[root@promote yum.repos.d]#cd /test/
[root@promote test]#ls
dis  dis_rep  dis_stripe  rep  stripe
[root@promote test]#

----------------------配置/etc/hosts 文件---------------------------
[root@promote test]#echo "20.0.0.55 node1" >> /etc/hosts
[root@promote test]#echo "20.0.0.56 node2" >> /etc/hosts
[root@promote test]#echo "20.0.0.57 node3" >> /etc/hosts
[root@promote test]#echo "20.0.0.58 node4" >> /etc/hosts

-------------------------挂载Gluster文件系统----------------------
[root@promote test]#mount.glusterfs node1:dis-volume /test/dis
[root@promote test]#mount.glusterfs node1:stripe-volume /test/stripe
[root@promote test]#mount.glusterfs node1:rep-volume /test/rep
[root@promote test]#mount.glusterfs node1:dis-stripe /test/dis_stripe
[root@promote test]#mount.glusterfs node1:dis-rep /test/dis_rep

---------------------或者永久挂载，选一个就行--------------------
[root@promote test]# vim /etc/fstab
node1:dis-volume		/test/dis				glusterfs		defaults,_netdev		0 0
node1:stripe-volume		/test/stripe			glusterfs		defaults,_netdev		0 0
node1:rep-volume		/test/rep				glusterfs		defaults,_netdev		0 0
node1:dis-stripe		/test/dis_stripe		glusterfs		defaults,_netdev		0 0
node1:dis-rep			/test/dis_rep			glusterfs		defaults,_netdev		0 0
[root@promote test]#mount -a

--------------------------查看挂载信息-------------------------
[root@promote test]#df -h
文件系统             容量  已用  可用 已用% 挂载点
/dev/sda2             16G  3.5G   13G   22% /
devtmpfs             898M     0  898M    0% /dev
tmpfs                912M     0  912M    0% /dev/shm
tmpfs                912M   18M  894M    2% /run
tmpfs                912M     0  912M    0% /sys/fs/cgroup
/dev/sda5             10G   37M   10G    1% /home
/dev/sda1             10G  174M  9.9G    2% /boot
tmpfs                183M  4.0K  183M    1% /run/user/42
tmpfs                183M   40K  183M    1% /run/user/0
/dev/sr0             4.3G  4.3G     0  100% /mnt
node1:dis-volume     6.0G   65M  6.0G    2% /test/dis
node1:stripe-volume  8.0G   65M  8.0G    1% /test/stripe
node1:rep-volume     3.0G   33M  3.0G    2% /test/rep
node1:dis-stripe      21G  130M   21G    1% /test/dis_stripe
node1:dis-rep         11G   65M   11G    1% /test/dis_rep

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69
    • 70
    • 71
    • 72
    • 73
    • 74
    • 75
    • 76
    • 77
    • 78
    • 79
    • 80

    7、测试Gluster 文件系统（20.0.0.59）

    7.1 卷中写入文件

    --------------------卷中写入文件-------------------
[root@promote test]#cd /opt
[root@promote opt]#dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.0311576 秒，1.3 GB/秒
[root@promote opt]#dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.182058 秒，230 MB/秒
[root@promote opt]#dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.196193 秒，214 MB/秒
[root@promote opt]#dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.169933 秒，247 MB/秒
[root@promote opt]#dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
记录了40+0 的读入
记录了40+0 的写出
41943040字节(42 MB)已复制，0.181712 秒，231 MB/秒

[root@promote opt]#ls -lh /opt
总用量 250M
-rw-r--r--. 1 root root  40M 3月   2 22:45 demo1.log
-rw-r--r--. 1 root root  40M 3月   2 22:45 demo2.log
-rw-r--r--. 1 root root  40M 3月   2 22:45 demo3.log
-rw-r--r--. 1 root root  40M 3月   2 22:45 demo4.log
-rw-r--r--. 1 root root  40M 3月   2 22:45 demo5.log
drwxr-xr-x. 3 root root 8.0K 3月  27 2018 gfsrepo
-rw-r--r--. 1 root root  50M 3月   2 10:30 gfsrepo.zip
drwxr-xr-x. 2 root root    6 3月  26 2015 rh

[root@promote opt]#cp demo* /test/dis
[root@promote opt]#cp demo* /test/stripe/
[root@promote opt]#cp demo* /test/rep/
[root@promote opt]#cp demo* /test/dis_stripe/
[root@promote opt]#cp demo* /test/dis_rep/

[root@promote opt]#cd /test/
[root@ydq5 test]# ls *
dis:
demo1.log  demo2.log  demo3.log  demo4.log  demo5.log

dis_rep:
demo1.log  demo2.log  demo3.log  demo4.log  demo5.log

dis_stripe:
demo1.log  demo2.log  demo3.log  demo4.log  demo5.log

rep:
demo1.log  demo2.log  demo3.log  demo4.log  demo5.log

stripe:
demo1.log  demo2.log  demo3.log  demo4.log  demo5.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56

    8、 查看文件分布

    查看分布式文件分布（node1:/dev/sdb1、node2:/dev/sdb1）

    [root@node1 ~] # ls -lh /data/sdb1
总用量 160M
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo1.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo2.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo3.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo4.log

[root@node2 ~]#ll -h /data/sdb1
总用量 40M
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo5.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10

    查看条带卷文件分布（node1:/dev/sdc1、node2:/dev/sdc1）

    [root@node1 ~] # ls -lh /data/sdc1
总用量 100M
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo1.log
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo2.log
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo3.log
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo4.log
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo5.log

[root@node2 ~]#ll -h /data/sdc1
总用量 100M
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo1.log
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo2.log
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo3.log
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo4.log
-rw-r--r--. 2 root root 20M 3月   2 22:46 demo5.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15

    查看复制卷文件分布（node3:/dev/sdb1、node4:/dev/sdb1）

    [root@node3 ~]#ll -h /data/sdb1
总用量 200M
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo1.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo2.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo3.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo4.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo5.log

[root@node4 ~]#ll -h /data/sdb1
总用量 200M
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo1.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo2.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo3.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo4.log
-rw-r--r--. 2 root root 40M 3月   2 22:46 demo5.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15

    查看分布式条带卷分布（node1:/dev/sdd1、node2:/dev/sdd1、node3:/dev/sdd1、node4:/dev/sdd1）

    [root@node1 opt]# ll -h /data/sdd1
总用量 81M
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo1.log
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo2.log
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo3.log
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo4.log

[root@node2 opt]# ll -h /data/sdd1
总用量 81M
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo1.log
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo2.log
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo3.log
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo4.log

[root@node3 opt]# ll -h /data/sdd1
总用量 21M
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo5.log

[root@node4 opt]# ll -h /data/sdd
总用量 21M
-rw-r--r--. 2 root root 20M 8月  24 21:33 demo5.log


    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22

    查看分布式复制卷分布（node1:/dev/sde1、node2:/dev/sde1、node3:/dev/sde1、node4:/dev/sde1）

    [root@node1 opt]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo1.log
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo2.log
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo3.log
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo4.log

[root@node2 opt]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo1.log
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo2.log
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo3.log
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo4.log

[root@node3 opt]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo5.log

[root@node4 opt]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 8月  24 21:33 demo5.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21

    9、破坏性测试

    9.1 挂起 node2 节点或者关闭glusterd服务来模拟故障

    [root@node2 ~]# systemctl stop glusterd.service

    • 1

    在客户端上查看文件是否正常
    #分布式卷数据查看

    [root@promote test]# ll /test/dis/		#在客户机上发现少了demo5.log文件，这个是在node2上的
总用量 163840
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:50 demo4.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    #条带卷

    [root@ test]# cd /test/stripe/		#无法访问，条带卷不具备冗余性
[root@promote stripe]# ll
总用量 0

    • 1
    • 2
    • 3

    #分布式条带卷

    [root@promote test]# ll /test/dis_stripe/		#无法访问，分布条带卷不具备冗余性
总用量 40960
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log

    • 1
    • 2
    • 3

    #分布式复制卷

    [root@promote test]# ll /test/dis_rep/	#可以访问，分布式复制卷具备冗余性
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    9.2 挂起 node2 和 node4 节点，在客户端上查看文件是否正常

    #测试复制卷是否正常

    [root@promotet rep]# ls -l /test/rep/		#在客户机上测试正常 数据有
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:51 demo5.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    #测试分布式条卷是否正常

    [root@promote dis_stripe]# ll /test/dis_stripe/		#在客户机上测试没有数据 
总用量 0

    • 1
    • 2

    #测试分布式复制卷是否正常

    [root@promote dis_rep]# ll /test/dis_rep/		#在客户机上测试正常 有数据
总用量 204800
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo1.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo2.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo3.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo4.log
-rw-r--r-- 1 root root 41943040 12月 18 14:52 demo5.log

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7

    六、其它维护命令

    1．查看GlusterFS卷
gluster volume list 

2．查看所有卷的信息
gluster volume info

3．查看所有卷的状态
gluster volume status

4．停止一个卷
gluster volume stop dis-stripe

5．删除一个卷，注意：删除卷时，需要先停止卷，且信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-stripe

6．设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.100

#仅允许
gluster volume set dis-rep auth.allow 192.168.80.*	  #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
  • 相关阅读:
    Var let const 重复声明问题，以及三种区别
    依赖注入(六）
    什么是持续集成的自动化测试？
    2022-08-10 第六小组 瞒春 学习笔记
    SWC 流程
    php危险函数及rce漏洞
    Hadoop学习记录1
    SegNet & DeconvNet——论文阅读
    SpringMVC之文件上传下载以及jrebel的使用
    模拟算法刷题笔记【蓝桥杯】
  • 原文地址：https://blog.csdn.net/m0_57515995/article/details/126576658