• CEPH-5：ceph集群基本概念与管理

    ceph集群基本概念与管理

    ceph集群基本概念

    1. ceph集群整体结构图
    名称 作用
    osd 全称Object Storage Device，主要功能是存储数据、复制数据、平衡数据、恢复数据等。每个OSD间会进行心跳检查，并将一些变化情况上报给Ceph Monitor。
    mon 全称Monitor,负责监视Ceph集群，维护Ceph集群的健康状态，同时维护着Ceph集群中的各种Map图，比如OSD Map、Monitor Map、PG Map和CRUSH Map，这些Map统称为Cluster Map，根据Map图和object id等计算出数据最终存储的位置。
    mgr 全称Manager，负责跟踪运行时指标和Ceph集群的当前状态，包括存储利用率，当前性能指标和系统负载。
    mds 全称是MetaData Server，主要保存的文件系统服务的元数据，如果使用cephfs功能才会启用它，对象存储和块存储设备是不需要使用该服务。
    rgw 全称radosgw，是一套基于当前流行的RESTFUL协议的网关，ceph对象存储的入口，内嵌civetweb服务，不启用对象存储，则不需要安装。

    1. ceph配置文件

      标准位置：/etc/ceph/ceph.conf

      组成部分：

      ## 全局配置，全局生效
[global]
fsid = 537175bb-51de-4cc4-9ee3-b5ba8842bff2
public_network = 10.0.0.0/8
cluster_network = 10.0.0.0/8
mon_initial_members = ceph-node1
mon_host = 10.153.204.xx:6789,10.130.22.xx:6789,10.153.204.xx:6789
auth_cluster_required = cephx
auth_service_required = cephx
auth_client_required = cephx

## osd专用配置，可以使用osd.num 来表示具体的哪一个osd
[osd]
[osd.1]

## monitor专用配置，可以使用mon.A 来表示具体的哪一个monitor，其中A表示该节点的名称，使用ceph mon dump可以查看。
[mon]
[mon.a]

## 客户端专用配置
[client]

      ceph配置文件的加载顺序：

      • $CEPH_CONF 环境变量
      • -c 指定的位置
      • /etc/ceph/ceph.conf
      • ~/.ceph/ceph.conf
      • ./ceph.conf

    2. 存储池类型

      • 副本池：replicated
        • 定义每个对象在集群中保存为多少个副本，默认为三个副本，一主两备
        • 实现高可用，副本池是 ceph 默认的存储池类型。
      • 纠删码池：erasure code
        • 把各对象存储为 N=K+M 个块，其中 K 为数据块数量，M 为编码块数量，因此存储池的尺寸为 K+M。
        • 即数据保存在 K 个数据块，并提供 M 个冗余块提供数据高可用，那么最多能故障的块就是 M 个，实际的磁盘占用就是 K+M 块，因此相比副本池机制比较节省存储资源，一般采用 8+4 机制，即 8 个数据块+4 个冗余块，那么也就是 12 个数据块有 8 个数据块保存数据，有 4 个 实现数据冗余，即 1/3 的磁盘空间用于数据冗余，比默认副本池的三倍冗余节省空间，但是不能出现大于一定数据块故障。
        • 不是所有的应用都支持纠删码池，RBD 只支持副本池而 radosgw 则可以支持纠删码池。
        • 对于文件系统及块存储，由于读写性能的问题 Ceph 不建议使用纠删码池。

      如何查看某个存储池为什么类型：

      $ ceph osd pool get test crush_rule
crush_rule: erasure-code

    3. 副本池IO

      • 将一个数据对象存储为多个副本。
      • 在客户端写入操作时，ceph 使用 CRUSH 算法计算出与对象相对应的 PG ID 和 primary OSD ，主 OSD 根据设置的副本数、对象名称、存储池名称和集群运行图(cluster map)计算出 PG 的 各辅助 OSD，然后由 OSD 将数据再同步给辅助 OSD。

      读写数据：

      ## 读数据
1.客户端发送读请求，RADOS 将请求发送到主 OSD。
2.主 OSD 从本地磁盘读取数据并返回数据，最终完成读请求。

## 写数据
1.客户端APP请求写入数据，RADOS发送数据到主OSD。
2.主OSD写入完毕后将完成信号给客户端APP，并发送数据到各副本OSD。
3.副本OSD写入数据，并发送写入完成信号给主OSD。

    4. 纠删码池 IO

      • Ceph 从 Firefly 版本开始支持纠删码，但是不推荐在生产环境使用纠删码池。
      • 纠删码池降低了数据保存所需要的磁盘总空间数量，但是读写数据的计算成本要比副本池高 ，RGW 可以支持纠删码池，RBD 不支持。

      读写数据：

      ## 读数据
1.从相应的 OSDs 中获取数据后进行解码
2.如果此时有数据丢失，Ceph 会自动从存放校验码的 OSD 中读取数据进行解码
3.完成数据解码后返回数据

## 写数据
1.数据将在主 OSD 进行编码然后分发到相应的 OSDs 上去
2.计算合适的数据块并进行编码
3.对每个数据块进行编码并写入OSD

    5. PG与PGP

      • PG = Placement Group # 归置组
      • PGP = Placement Group for Placement purpose # 归置组的组合，pgp 相当于是 pg 对应 osd 的 一种排列组合关系。

      归置组(placement group)是用于跨越多osd将数据存储在每个存储池中的内部数据结构。 pg 在 osd 守护进程和 ceph 客户端之间的一个中间层，hash 算法负责将每个对象动态映射到一个pg中，此pg即为主pg，按照存储池的副本数量（例如3个）会再将每个主pg再复制出两个副本pg，CRUSH 算法负责将 三个 pg 动态映射到三个不同的 OSD 守护进程中，此三个pg组成一个pgp，从而在 osd 中达到多副本高可用。

      文件寻址流程大致如下图所示：

    File->Objects->PGs->OSDs。

    需要注意的几个点：

    • PG和PGP可以自定义数量，且是针对于存储池的，但PG总数会根据OSD集群的大小决定
    • 相对于存储池来说，PG是一个虚拟组件，它是对象映射到存储池时使用的虚拟层
    • 出于规模伸缩及性能方面的考虑，ceph将存储池细分为多个PGP，每个PGP中有一个主PG，主PG所在的OSD节点便是主OSD。
    • 当有新OSD节点加入集群时，ceph会通过CRUSH重新组合PGP，致使每个OSD都有数据，达到整个集群的数据平衡。

    PG的分配计算：

    • 官方建议：每个osd中的pg数量最好不要超过100个，公式：Total PGS = (Total_number_of _osd * 100) / max_replication_count

    • 具体算法：举例现在有12台osd机器，我需要创建20个存储池。

      此时pg总数为：12 * 100 / 3 = 400

      平均每个存储池分配pg数量为：400 / 20 = 20

      这里计算出，平均每个存储池可以分配20个pg，但每个存储池pg的个数推荐为2的N次幂，故2、4、8、16、32、64、128等，这时要结合具体的pool是来存储什么，大概能存储多少数据来进行一个简单的转换，如果此pool只存储一些元数据，则分配4即可，反之数据量比较大的，可以分配16、32等。

      另外pool中pg个数是推荐用2的整数次幂，也可以不用，但会有警告提示。

    PG与PGP组合：

    1. 查看replicapool池的pg、pgp数量

      $ ceph osd pool get replicapool pg_num 
pg_num: 32
$ ceph osd pool get replicapool pgp_num 
pgp_num: 32

      查看replicapool池的pg、pgp分布

      $ ceph pg ls-by-pool replicapool | awk '{print $1,$2,$15}'
PG OBJECTS ACTING
2.0 596 [3,1,0]p3
2.1 623 [3,4,0]p3
2.2 570 [3,4,0]p3
2.3 560 [3,4,0]p3
2.4 630 [0,3,4]p0
2.5 574 [4,0,3]p4
2.6 572 [4,3,0]p4
2.7 572 [3,4,0]p3
2.8 622 [3,4,0]p3
2.9 555 [0,3,4]p0
2.a 523 [1,3,0]p1
2.b 574 [4,3,0]p4
2.c 620 [4,3,0]p4
2.d 637 [1,3,0]p1
2.e 522 [0,3,4]p0
2.f 599 [4,3,0]p4
2.10 645 [4,3,0]p4
2.11 534 [3,4,0]p3
2.12 622 [4,3,0]p4
2.13 577 [1,3,0]p1
2.14 661 [3,4,0]p3
2.15 626 [1,3,0]p1
2.16 585 [2,4,0]p2
2.17 610 [3,4,0]p3
2.18 610 [4,2,0]p4
2.19 560 [4,3,0]p4
2.1a 599 [3,4,0]p3
2.1b 614 [1,2,0]p1
2.1c 581 [4,3,0]p4
2.1d 614 [4,3,0]p4
2.1e 595 [0,3,1]p0
2.1f 572 [3,4,0]p3
  
* NOTE: afterwards

    PG的状态解释：

    在osd扩缩容或者一些特殊情况的时候，ceph会以pg为整体进行rebalancing数据重平衡，此时pg会出现很多不同的状态，例如：

    $ ceph -s 
  cluster:
    id:     537175bb-51de-4cc4-9ee3-b5ba8842bff2
    health: HEALTH_WARN
            Degraded data redundancy: 152/813 objects degraded (18.696%), 43 pgs degraded, 141 pgs undersized
 
  services:
    mon: 2 daemons, quorum yq01-aip-aikefu10,bjkjy-feed-superpage-gpu-04 (age 111s)
    mgr: yq01-aip-aikefu10(active, since 11d), standbys: bjkjy-feed-superpage-gpu-04
    mds: mycephfs:1 {0=ceph-node2=up:active} 1 up:standby
    osd: 8 osds: 8 up (since 3d), 8 in (since 3d); 124 remapped pgs
    rgw: 2 daemons active (ceph-node1, ceph-node2)
 
  task status:
 
  data:
    pools:   8 pools, 265 pgs
    objects: 271 objects, 14 MiB
    usage:   8.1 GiB used, 792 GiB / 800 GiB avail
    pgs:     152/813 objects degraded (18.696%)
             114/813 objects misplaced (14.022%)
             111 active+clean+remapped
             98  active+undersized
             43  active+undersized+degraded
             13  active+clean
    • clean：干净态，PG当前不存在待修复的对象，并且大小等于存储池的副本数，即PG的活动集(Acting Set)和上行集(Up Set)为同一组 OSD 且内容一致。
    • active：就绪状态或活跃状态，Active 表示主 OSD 和备 OSD 处于正常工作状态，此时的 PG 可以正常 处理来自客户端的读写请求，正常的 PG 默认就是 Active+Clean 状态。
    • peering：正在同步状态，同一个 PG 中的OSD需要将准备数据同步一致，而Peering(对等)就是OSD同步过程中的状态。
    • activating：Peering 已经完成，PG 正在等待所有 PG 实例同步 Peering 的结果(Info、Log 等)
    • degraded：降级状态，出现于 OSD 被标记为 down 以后，那么其他映射到此 OSD 的 PG 都会转换到降级状态，如果此OSD被标记为down的时间超过 5 分钟还没有修复，ceph 会对被降级的 PG 启动恢复操作，直到所有由于此 OSD 而被降级的 PG 重新恢复为 clean 状态。
    • undersized：PG 当前副本数小于其存储池定义的值的时候，PG 会转换为 undersized 状态，直到添加备 份 OSD 添加完成，或者修复完成。
    • remapped：当 pg 改变, 数据从旧的 OSD 迁移到新的 OSD, 新的主 OSD 应该请求将会花费一段时间, 在这段时间内, 将会继续向旧主 OSD 请求服务, 直到 PG 迁移完成。
    • scrubbing：scrub 是 ceph 对数据的清洗状态，用来保证数据完整性的机制，Ceph 的 OSD 定期启动 scrub 线程来扫描部分对象，通过与其他副本比对来发现是否一致，主要检查元数据(metadata )信息，比如文件名、object属性、大小等，如果不一样，就会从主pg复制一份过去。
    • stale：过期状态，正常状态下，每个OSD都要周期性的向 RADOS 集群中的监视器(mon)报告其作为OSD所持有的所有主PG的最新统计数据，因任何原因导致某个OSD无法正常向监视器发送汇报信息的、或者由其他OSD报告某个OSD已经down的时候，则所有以此OSD为主PG则会立即被标记为stale状态，即它们的主 OSD 已经不是最新的数据了。
    • recovering：正在恢复态，集群正在执行迁移或同步对象和他们的副本。这可能是由于添加了一个新的OSD到集群中或者某个OSD 宕掉后，PG被CRUSH算法重新分配到不同的OSD，其中PG发生内部数据同步的过程。
    • backfilling：后台填充态，backfill 是recovery的一种特殊场景，指peering完成后，如果基于当前权威日志无法对Up Set(上行集)当中的某些PG实例实施增量同步（例如承载这些 PG 实例的 OSD 离线太久，或者是新的 OSD 加入集群导致的 PG 实例整体迁移），则通过完全拷贝当前 Primary 所有对象的方式进行全量同步，此过程中的 PG 会处于 backfilling。
    • backfill-toofull：某个需要被 Backfill 的 PG 实例，其所在的 OSD 可用空间不足，Backfill 流程当前被挂起时 PG给的状态。
    • creating：创建PG中的状态，一般出现创建新pool时。
    • incomplete：Peering过程中由于无法选出权威日志或者通过choos_acting选出的acting不足以完成数据恢复，（例如针对纠删码，存活的副本数小于k值）等，导致Peering无法正常完成。即pg元数据丢失，无法恢复pg状态。（ceph-objectstore-tool工具可以调整此状态pg为complete）

    1. noscrub 和 nodeep-scrub

      • noscrub：数据轻量扫描，主要检查元数据信息是否一致，若不一致则会进行同步，一般为一天进行一次比对，默认开启。
      • nodeep-scrub：数据深度扫描，对所有数据的全量扫描，包括元数据、object等，一般一周进行一次，默认开启。

      数据校验时会导致读压力增大，如果扫描出数据不一致还要进行同步写，增大写的压力，因此在做扩容等操作的时候，我们会人为去设置noscrub与nodeep-scrub，暂停数据校验。查看pool是否开启清洗：

      $ ceph osd pool get replicapool noscrub
noscrub: false
$ ceph osd pool get replicapool nodeep-scrub
nodeep-scrub: false

    2. 数据压缩

      如果使用 BlueStore 存储引擎，ceph 支持称为 "实时数据压缩" 即边压缩边保存数据的功能， 该功能有助于节省磁盘空间，可以在BlueStore OSD上创建的每个存储池池上启用或禁用压缩， 以节约磁盘空间，默认没有开启压缩，需要后期配置并开启：

      ## 开启压缩功能
$ ceph osd pool set <pool name> compression_algorithm <压缩算法> 
算法介绍：
  sanppy：默认算法，消耗cpu较少
  zstd：压缩比好，但消耗 CPU
  lz4：消耗cpu较少
  zlib：不推荐
  
$ ceph osd pool set replicapool compression_algorithm snappy
set pool 2 compression_algorithm to snappy

## 指定压缩模式
$ ceph osd pool set <pool name> compression_mode <指定模式>
模式介绍：
  none:从不压缩数据，默认值。
  passive:除非写操作具有可压缩的提示集，否则不要压缩数据。
  aggressive:压缩数据，除非写操作具有不可压缩的提示集。
  force:无论如何都尝试压缩数据，即使客户端暗示数据不可压缩也会压缩，也就是在所有情况下都使用压缩

$ ceph osd pool set replicapool compression_mode passive
set pool 2 compression_mode to passive

      全局压缩选项，这些可以配置到 ceph.conf 中，作用于所有存储池：

      bluestore_compression_algorithm #压缩算法
bluestore_compression_mode      #压缩模式
bluestore_compression_required_ratio #压缩后与压缩前的压缩比，默认为.875
bluestore_compression_min_blob_size  #小于它的块不会被压缩,默认0
bluestore_compression_max_blob_size  #大于它的块在压缩前会被拆成更小的块,默认 0
bluestore_compression_min_blob_size_ssd #默认 8k
bluestore_compression_max_blob_size_ssd #默认 64k
bluestore_compression_min_blob_size_hdd #默认 128k
bluestore_compression_max_blob_size_hdd #默认 512k

      此功能开启会影响cpu的使用率，如果环境为生产环境，不建议开启此功能。

    ceph集群管理命令

    1. 存储池基本管理

      创建存储池，格式示例

      $ ceph osd pool create <poolname> pg_num pgp_num {replicated|erasure}

$ ceph osd pool create study 8 8 
pool 'study' created

      列出存储池

      $ ceph osd lspools
1 .rgw.root
2 study

      重命名存储池，格式示例

      $ ceph osd pool rename old-name new-name 

$ ceph osd pool rename study re-study
pool 'study' renamed to 're-study'

      显示存储池用量信息

      $ rados df 
或者
$ ceph osd df

      删除存储池

      ## 1、ceph为了防止存储池被误删，故设置了两个机制来保护，首先要将存储池的nodelete标志为false
$ ceph osd pool set re-study nodelete false
set pool 13 nodelete to true
$ ceph osd pool get re-study nodelete
nodelete: false

## 2、第二个机制，要将mon设置为允许删除--mon-allow-pool-delete=true
$ ceph tell mon.* injectargs --mon-allow-pool-delete=true 
injectargs:mon_allow_pool_delete = 'true' 

## 3、开始删除，要写两边存储池的名字，并加参数--yes-i-really-really-mean-it
$ ceph osd pool rm re-study re-study --yes-i-really-really-mean-it
pool 're-study' removed

    2. 存储池配额

      存储池可以设置两个配对存储的对象进行限制，一个配额是最大空间(max_bytes)，另外一个 配额是对象最大数量(max_objects)，默认不会限制，例如：

      ## 查看replicapool存储池的配额情况，N/A表示不限制
$ ceph osd pool get-quota replicapool 
quotas for pool 'replicapool':
  max objects: N/A
  max bytes  : N/A
  
## 限制最大对象数为1000，最大byte为1000000000
$ ceph osd pool set-quota replicapool max_objects 1000
set-quota max_objects = 1000 for pool replicapool

$ ceph osd pool set-quota replicapool max_bytes 1000000000
set-quota max_bytes = 1000000000 for pool replicapool

$ ceph osd pool get-quota replicapool 
quotas for pool 'replicapool':
  max objects: 1k objects
  max bytes  : 954 MiB
  
## 可以再设置为不限额
$ ceph osd pool set-quota replicapool max_bytes 0

    3. 存储池常用参数

      查看存储池对象副本数 和 最小副本数

      $ ceph osd pool get replicapool size
size: 1

$ ceph osd pool get replicapool min_size 
min_size: 1

      min_size：提供服务所需要的最小副本数，默认为2，表示如果一个3副本的存储池，其中一个副本所在的osd坏掉了，那么还剩两副本，可以正常工作，但如果再坏掉一个，只剩下一个副本，则此存储池不能正常提供服务。

      查看存储池pg、pgp数量

      $ ceph osd pool get replicapool pg_num 
pg_num: 32

$ ceph osd pool get replicapool pgp_num 
pgp_num: 32

      控制是否可以更改存储池的pg、pgp、存储大小

      $ ceph osd pool get replicapool nopgchange
nopgchange: false

$ ceph osd pool get replicapool nosizechange
nosizechange: false

      轻量扫描和深层扫描管理

      ## 关闭轻量扫描和深层扫描
$ ceph osd pool set replicapool noscrub true
$ ceph osd pool set replicapool nodeep-scrub true

## 扫描的最小与最大间隔时间，默认没设置，如果需要，则要在配置文件中指定
osd_scrub_min_interval xxx
osd_scrub_max_interval xxx
osd_deep_scrub_interval xxx

      ceph osd默认配置查看

      $ ceph daemon osd.1 config show | grep scrub
  • 相关阅读:
    [Leetcode]13. 罗马数字转整数
    fastjson到底做错了什么？为什么会被频繁爆出漏洞？
    SL9056C 8V~100V 1.5A磁吸灯降压恒流LED驱动芯片
    Handler同步屏障学习
    想知道如何图片转文字？这几个方法你别错过
    ElasticSearch 一文读懂
    一个注解实现SpringBoot接口定制属性加解密
    一次网络请求的流程
    模板引擎——FreeMarker初体验
    SQL Server 备份与恢复
  • 原文地址：https://www.cnblogs.com/v-fan/p/16225266.html