• ceph分布式存储

    目录

    一、概述

    1、特点

    2、组件

    3、架构图

    二、分布式部署

    1、环境拓扑

    2、实验准备

             3、ceph安装

    安装 

    初始化monitor

    同步管理信息

    安装mgr（管理守护进程）

    安装rgw

    创建mds服务

    OSD安装

    4、dashboard安装

    开启dashboard模块

    生成签名

    创建目录

    启动服务

    设置访问地址与端口

    关闭https

    访问

    5、ceph文件系统创建

    创建存储池

    查看存储池

    创建文件系统

    查看文件系统

    查看mds状态

    三、在客户端挂载

    一、概述

    ceph是一个统一的分布式存储系统，设计初衷是提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区。在经过了数年的发展之后，目前已得到众多云计算厂商的支持并被广泛应用。RedHat及OpenStack都可与Ceph整合以支持虚拟机镜像的后端存储

    1、特点


        1. 统一存储
            虽然 ceph 底层是一个分布式文件系统，但由于在上层开发了支持对象和块的接口。所以在开源存储软件中，能够一统江湖。至于能不能千秋万代，就不知了。
        2. 高扩展性
            扩容方便、容量大。能够管理上千台服务器、EB 级的容量。
        3. 可靠性强
            支持多份强一致性副本，EC。副本能够垮主机、机架、机房、数据中心存放。所以安全可靠。存储节点可以自动管理、自动修复。无单点故障，容错性强。
        4. 高性能
            因为是多个副本，因此在读写操作时候能够做到高度并行化。理论上，节点越多，整个集群的 IOPS和吞吐量越高。另外一点 ceph 客户端读写数据直接与存储设备(osd) 交互。

    2、组件

    1. Monitor
        一个Ceph集群需要多个Monitor组成的小集群，它们通过Paxos同步数据，用来保存OSD的元数据。
    2. OSD
        OSD全称Object Storage Device，也就是负责响应客户端请求返回具体数据的进程。一个Ceph集群一般都有很多个OSD。
    3. MDS
        MDS全称Ceph Metadata Server，是CephFS服务依赖的元数据服务。
    4. Object
        Ceph最底层的存储单元是Object对象，每个Object包含元数据和原始数据。
    5. PG
        PG全称Placement Grouops，是一个逻辑的概念，一个PG包含多个OSD。引入PG这一层其实是为了更好的分配数据和定位数据。
    6. RADOS
        RADOS全称Reliable Autonomic Distributed Object Store，是Ceph集群的精华，用户实现数据分配、Failover等集群操作。
    7. Libradio
        Librados是Rados提供库，因为RADOS是协议很难直接访问，因此上层的RBD、RGW和CephFS都是通过librados访问的，目前提供PHP、Ruby、Java、Python、C和C++支持。
    8. CRUSH
        CRUSH是Ceph使用的数据分布算法，类似一致性哈希，让数据分配到预期的地方。
    9. RBD
        RBD全称RADOS block device，是Ceph对外提供的块设备服务。
    10. RGW
        RGW全称RADOS gateway，是Ceph对外提供的对象存储服务，接口与S3和Swift兼容。
    11. CephFS
        CephFS全称Ceph File System，是Ceph对外提供的文件系统服务。

    3、架构图


        1:文件上传，先将文件切片成N个object（如果开启了cephFS，可以使用MDS缓存）
        2:切片后的文件object会存入到Ceph中
        3:文件存储前，会经过CRUSH算法，计算当前文件存储归结于哪个PG
        4:PG是逻辑概念上对文件存储范围划分的索引
        5:根据PG索引将文件存储到指定服务器的OSD中

    二、分布式部署

    1、环境拓扑
    实验拓扑
     centos1 ：192.168.115.100  monitor  osd
    centos2 ：192.168.115.101   osd 
    centos3 ：192.168.115.102    osd
    centos4：192.168.115.103  osd   Client

    2、实验准备
    1. ##在所有的主机上进行如下操作
    2.  
    3. systemctl stop firewalld.service 
    4. systemctl disable firewalld.service 
    5.  
    6. systemctl stop NetworkManager
    7. systemctl disable NetworkManager
    8.  
    9. systemctl restart network
    10. systemctl stop NetworkManager
    11.  
    12. setenforce 0 
    13.  
    14. sed -i "s/#UseDNS yes/UseDNS no/" /etc/ssh/sshd_config
    15.  
    16. systemctl restart sshd
    17.  
    18.  
    19. ##分别修改主机名
    20. hostnamectl set-hostname centos1 && bash
    21. hostnamectl set-hostname centos2 && bash
    22. hostnamectl set-hostname centos3 && bash
    23. hostnamectl set-hostname centos4 && bash
    24.  
    25. ###每台主机修改hosts文件
    26. vim /etc/hosts
    27. 192.168.115.100	centos1
    28.  
    29. ###添加磁盘
    30. echo "- - -" > /sys/class/scsi_host/host0/scan
    31.  
    32. for i in 101 102;do ssh 192.168.115.$i echo "- - -" > /sys/class/scsi_host/host0/scan && lsblk;done
    33.  
    34. ###格式化
    35. mkfs.xfs /dev/sdb
    36.  
    37.  
    38. 192.168.115.101	centos2
    39. 192.168.115.102	centos3
    40. 192.168.115.103	centos4
    41.  
    42. ###每台主机配置ssh免密
    43.  
    44. #centos1
    45. 	ssh-keygen
    46. 	for i in 100 101 102 103; do ssh-copy-id root@192.168.115.$i;done
    47. #centos2
    48. 	ssh-keygen
    49. 	for i in 100 101 102 103; do ssh-copy-id root@192.168.115.$i;done
    50. #centos3
    51. 	ssh-keygen
    52. 	for i in 100 101 102 103; do ssh-copy-id root@192.168.115.$i;done
    53. #centos4
    54. 	ssh-keygen
    55. 	for i in 100 101 102 103; do ssh-copy-id root@192.168.115.$i;done
    56.  
    57.  
    58.  
    59.  
    60.  
    61. ##########在centos1上设置同步时间
    62. yum install -y ntp
    63. vim /etc/ntp.conf
    64. 注释
    65. #server 0.centos.pool.ntp.org iburst
    66. #server 1.centos.pool.ntp.org iburst
    67. #server 2.centos.pool.ntp.org iburst
    68. #server 3.centos.pool.ntp.org iburst
    69. 插入
    70. server 127.127.1.0           #定义时间服务器
    71. fudge 127.127.1.0 stratum 8  #定义时间层次
    72. ############
    73. 启动
    74. systemctl start ntpd
    75. systemctl enable ntpd
    76. ###################
    77. 客户端对时
    78. for i in 100 101 102;do ssh 192.168.115.$i  ntpdate 192.168.115.100;done
    79.  
    80.

    3、ceph安装

    在centos1上安装

    1. yum install epel-release -y
    2. yum install lttng-ust -y
    3.  
    4. ###添加源
    5. vim /etc/yum.repos.d/ceph.repo
    6. [Ceph]
    7. name=Ceph packages for $basearch
    8. baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/x86_64/
    9. enabled=1
    10. gpgcheck=1
    11. type=rpm-md
    12. gpgkey=https://download.ceph.com/keys/release.asc
    13. [Ceph-noarch]
    14. name=Ceph noarch packages
    15. # 清华源
    16. baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/noarch/
    17. enabled=1
    18. gpgcheck=1
    19. type=rpm-md
    20. gpgkey=https://download.ceph.com/keys/release.asc
    21. [ceph-source]
    22. name=Ceph source packages
    23. baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-mimic/el7/SRPMS/
    24. enabled=1
    25. gpgcheck=1
    26. type=rpm-md
    27. gpgkey=https://download.ceph.com/keys/release.asc
    28.  
    29. ##########拷贝源
    30. scp /etc/yum.repos.d/ceph.repo 192.168.115.101:/etc/yum.repos.d
    31. scp /etc/yum.repos.d/ceph.repo 192.168.115.102:/etc/yum.repos.d
    32. scp /etc/yum.repos.d/ceph.repo 192.168.115.103:/etc/yum.repos.d
    33.  
    34. ####安装
    35. yum -y install ceph ceph-deploy 
    36.  
    37. ##创建集群目录
    38. mkdir -p /usr/local/soft/cephcluster
    39. cd /usr/local/soft/cephcluster
    40.  
    41. ##创建集群
    42. ceph-deploy new centos1 centos2 centos3
    43. ##修改配置文件
    44. /usr/local/soft/cephcluster/ceph.conf
    45. 插入
    46. #对外开放网段
    47. public network = 192.168.115.0/24
    48. # 设置pool池默认分配数量
    49. osd pool default size = 2
    50. # 容忍更多的时钟误差
    51. mon clock drift allowed = 2
    52. mon clock drift warn backoff = 30
    53. # 允许删除pool
    54. mon_allow_pool_delete = true
    55. [mgr] 
    56. # 开启WEB仪表盘 
    57. mgr modules = dashboard 
    58.  
    59.

    安装 
    1. 如果安装失败需要：
    2. ceph-deploy purge centos1 centos2 centos3
    3. ceph-deploy purgedata centos1 centos2 centos3
    4. ceph-deploy forgetkeys
    5. 将三台节点的mon信息也删除：
    6. rm -rf /var/run/ceph/

    ceph-deploy install centos1 centos2 centos3

    初始化monitor

    ceph-deploy mon create-initial

    同步管理信息

    ceph-deploy admin  centos1 centos2 centos3

    安装mgr（管理守护进程）

    ceph-deploy mgr create  centos1 centos2 centos3

    安装rgw

    ceph-deploy rgw create centos1 centos2 centos3

    创建mds服务

    ceph-deploy mds create centos1 centos2 centos3

    OSD安装

    OSD服务是对象存储守护进程， 负责把对象存储到本地文件系统， 必须要有一块独立的磁盘作为存储。如果没有独立磁盘，怎么办？ 可以在Linux下面创建一个虚拟磁盘进行挂载。

    1. ##创建OSD
    2. ceph-deploy osd create --data /dev/sdb centos1

    ceph-deploy osd create --data /dev/sdb centos2

    ceph-deploy osd create --data /dev/sdb centos3

    查看集群状态

     ceph -s

    4、dashboard安装

    只在centos1上操作

    开启dashboard模块
    ceph mgr module enable dashboard
    生成签名
    ceph dashboard create-self-signed-cert

    创建目录
    1. mkdir -p /usr/local/jx/cephcluster/mgr-dashboard
    2. cd /usr/local/jx/cephcluster/mgr-dashboard
    3.  
    4.  
    5. openssl req -new -nodes -x509   -subj "/O=IT/CN=ceph-mgr-dashboard" -days 3650   -keyout dashboard.key -out dashboard.crt -extensions v3_ca

    启动服务
    1. ceph mgr module disable dashboard
    2. ceph mgr module enable dashboard
    设置访问地址与端口
    1. ceph config set mgr mgr/dashboard/server_addr 192.168.115.100
    2. ceph config set mgr mgr/dashboard/server_port 9001

    关闭https
    1. ceph config set mgr mgr/dashboard/ssl false
    2.  
    3. ceph mgr services
    4.  
    5.  
    6. ceph dashboard set-login-credentials hy123 123.com

    访问

    https://192.168.115.100:8443

    5、ceph文件系统创建

    centos1上操作

    创建存储池
    1. ceph osd pool create cephfs_data 128
    2. ceph osd pool create cephfs_metadata 64
    3.  
    4. ####################
    5. 少于5个OSD可把pg_num设置为128
    6. OSD数量在5到10，可以设置pg_num为512
    7. OSD数量在10到50，可以设置pg_num为4096
    8. OSD数量大于50，需要计算pg_num的值

    查看存储池
     ceph osd lspools

    创建文件系统
    ceph fs new  fs_test  cephfs_metadata cephfs_data

    查看文件系统
    ceph fs ls

    查看mds状态
    ceph mds stat

    三、在客户端挂载

    在centos1上操作：

    1. 在centos1中：安装
    2. 		ceph-deploy install centos4
    3. 	同步管理信息
    4. 		ceph-deploy admin  centos4
    5. 	非集群节点，/var/run/ceph 无内容

    在centos4上操作

    1. yum install -y ceph-fuse
    2. ##如果安装不上请尝试：
    3. 在这种情况下，建议您使用 EPEL（Extra Packages for Enterprise Linux）源。首先，需要确保您的 CentOS 系统已启用 EPEL 源。如果尚未启用，请执行以下命令启用 EPEL 源：
    4. sudo yum install epel-release  
    5. 安装完成后，请执行以下命令安装 ceph-fuse：
    6. sudo yum install -y ceph-fuse  
    7. 安装完成后，您可以继续按照之前的回答中的步骤进行操作。如果仍然遇到问题，请确保您的 CentOS 系统已更新，并尝试使用以下命令安装 ceph-fuse：
    8. sudo yum install -y http://rpms.remirepo.net/enterprise/remi-release-7.rpm  
    9. sudo yum install -y ceph-fuse  
    10.  
    11.  
    12.  
    13. ###############################
    14. 查看信息
    15. ls /etc/ceph
    16. ceph.client.admin.keyring
    17.  
    18. 创建挂载目录
    19. 	mkdir /ceph
    20. 挂载ceph文件系统
    21. 	ceph-fuse -k /etc/ceph/ceph.client.admin.keyring -m 192.168.115.100:6789 /ceph

  • 相关阅读:
    网络模型的参数量和FLOPs的计算 Pytorch
    技术管理者的困惑——技术与管理应该如何平衡？
    mysql安装8.0详细操作
    注入常考面试题总结
    Visual Studio Code配置c/c++环境
    27.方向标
    互联网摸鱼日报(2023-09-06)
    【无标题】
    d为何读写不一致
    数组20—pop() ：从数组末尾删除一个元素
  • 原文地址：https://blog.csdn.net/2302_78534730/article/details/133149089