ceph 笔记

01 ceph中pool osds和crush算法之间的关系

在 Ceph 存储系统中，理解 pool（存储池）、OSDs（对象存储设备）和 CRUSH 算法之间的关系，可以通过一个购物中心的比喻来解释。

1. 存储池 (Pools)：想象 Ceph 中的存储池就像购物中心里的不同商店。每个商店（存储池）专门销售特定类型的商品（数据）。就像你可能去一家服装店购买衣服，或者去书店购买书籍一样，不同类型的数据被存储在不同的存储池中。

2. 对象存储设备 (OSDs)：OSDs 可以被看作是存放商品的货架。购物中心里的每个商店都有许多货架，用来存放商品。在 Ceph 中，每个 OSD 就是一个存储设备，用于存储数据。整个 Ceph 集群可能包含成百上千个这样的 OSDs。

3. CRUSH 算法：CRUSH 算法就像是购物中心的智能导购系统。当顾客（数据请求）来到商店（存储池）寻找特定的商品（数据）时，智能导购系统（CRUSH 算法）会告诉他们商品放置在哪个货架（OSD）上。这个系统非常智能，它不仅知道每件商品在哪里，还能在某个货架损坏时，迅速重新安排商品的存放位置，确保顾客总能找到他们需要的商品。

在这个比喻中，CRUSH 算法的作用是确保数据能够被高效、均衡且可靠地分配到各个 OSDs 上。它根据预定义的规则，动态地决定每个数据块存储在哪个 OSD 上，同时确保数据的高可用性和容错性。总之，存储池定义了数据的类型和存储特性，OSDs 提供物理存储空间，而 CRUSH 算法则负责智能地在 OSDs 之间分配和管理数据。

实际使用中，如何使用pool osds

在实际使用 Ceph 的过程中，使用存储池（pools）和对象存储设备（OSDs）涉及到数据的存储和管理。让我们通过一个具体的项目示例来说明这一过程：

项目背景：在线文档存储和共享服务

假设你正在部署一个在线文档存储和共享服务，这个服务需要存储大量的文档文件，同时确保这些文件的快速访问和高可用性。

设置存储池

1. 创建存储池：首先，你需要在 Ceph 集群中创建一个或多个存储池。例如，你可能创建一个名为 documents 的存储池，专门用于存储文档文件。

   ceph osd pool create documents 128
   1

   这里 128 指定了存储池的 placement group 数量，这是一个影响数据分布和性能的重要参数。

2. 设置复制因子：为了确保数据的高可用性，你可能会设置一个复制因子，比如复制 3 份（三副本），这意味着每个数据块都会在三个不同的 OSDs 上存储。

   ceph osd pool set documents size 3
   1

使用 OSDs

3. 数据存储和分布：当你的服务开始存储文件到 documents 存储池时，CRUSH 算法会自动决定这些数据应该存储在哪些 OSDs 上。这个过程是透明的，你不需要手动干预。

4. 容错和负载均衡：如果某个 OSD 出现问题或集群扩展了新的 OSDs，CRUSH 算法会自动调整数据的分布，以确保持续的容错性和负载均衡。

项目应用

5. 数据访问：当用户通过你的服务请求访问特定文档时，Ceph 会使用 CRUSH 算法快速定位存储该文档的 OSDs，并从中检索数据。

6. 扩展和管理：随着服务的使用量增长，你可能需要添加更多的 OSDs 来扩展存储能力。添加新的 OSDs 是一个简单的过程，Ceph 集群会自动将它们纳入数据分布中。

结论

在这个项目中，存储池 documents 提供了一个逻辑上的分区，用于组织和管理特定类型的数据（文档文件）。OSDs 提供了物理存储空间，而 CRUSH 算法确保了数据的高效、均衡分布和容错性。这种设置支持了在线文档存储和共享服务的核心需求，如高可用性、快速访问和可扩展性。

128的含义

在 Ceph 存储系统中，数字 128 在创建存储池命令中代表的是“Placement Group（PG）”的数量。了解 Placement Groups 的作用和重要性是理解 Ceph 架构的关键部分。

什么是 Placement Groups (PGs)？

1. 数据组织的单元：在 Ceph 中，Placement Groups 是数据组织和管理的一种单元。它们不直接存储数据，而是作为数据在 OSDs（对象存储设备）上分布的一个逻辑单位。

2. 数据分布和负载均衡：PGs 的主要目的是为了实现数据的均匀分布和负载均衡。通过将数据均匀分配到不同的 PGs，然后将这些 PGs 分散到不同的 OSDs 上，Ceph 能够确保没有任何单一的 OSD 被过度负荷。

为什么 PG 的数量重要？

1. 影响性能和扩展性：PG 的数量直接影响 Ceph 集群的性能和扩展性。太少的 PGs 可能导致数据分布不均，从而影响性能和可用性。而太多的 PGs 可能会增加 OSDs 的管理开销，同样影响性能。

2. 平衡和调整：选择合适的 PG 数量是一种平衡。需要足够多的 PGs 来确保数据均匀分布，但也不能太多，以避免给 OSDs 带来过多的管理负担。

为什么选择 128？

选择 128 作为 PG 数量是基于集群的大小和预期的数据量。Ceph 官方文档提供了一些指导，帮助确定合适的 PG 数量。这个数字通常是根据 OSD 的数量和存储池的复制因子来决定的。对于小到中等规模的集群，128 是一个常见的起始点，但这个数字可能需要根据实际情况进行调整。

结论

总的来说，PGs 在 Ceph 中扮演着至关重要的角色，它们帮助确保数据在 OSDs 之间的均匀分布和高效管理。选择合适的 PG 数量是实现优化性能和扩展性的关键步骤。在实践中，选择 PG 数量通常需要考虑到集群的规模、预期的增长以及数据的特性。

02 CRUSH算法

Ceph 的 CRUSH 算法是一个智能的数据分布算法，用于有效地管理和存储大量数据。想要通俗易懂地解释这个算法，我们可以将其比作一个智能的图书管理员，负责在一个巨大的图书馆（即存储集群）中放置和寻找书籍（即数据）。

1. 自定义规则：就像图书管理员可以根据图书馆的布局和图书的种类来决定如何放置书籍，CRUSH 算法允许系统管理员定义规则，指导数据如何在不同的硬件资源（如硬盘、服务器等）上分布。

2. 灵活性和扩展性：CRUSH 算法能够适应存储集群的变化，就像图书管理员可以轻松应对图书馆的扩建或图书的增减一样。这意味着当新的存储设备加入或旧的设备移除时，CRUSH 算法可以动态地调整数据的位置，以保持数据的均衡分布。

3. 高效的数据查找：CRUSH 算法能够快速地定位数据，这就像图书管理员知道每本书的确切位置，用户请求特定数据时，系统可以迅速找到这些数据存储在哪个服务器的哪个硬盘上。

4. 容错性：如果某个存储设备发生故障，CRUSH 算法就像一个图书管理员在发现某个书架坏了之后，会将书籍移动到其他书架，以确保信息的安全和可访问性。这意味着数据的副本会被存储在多个地方，从而保证在某些设备故障时数据仍然安全。

总的来说，CRUSH 算法是 Ceph 存储系统的一个核心组成部分，它通过智能的数据分布策略，确保数据的高效存取、灵活管理和安全保障。

03 简述Ceph存储体系架构？

Ceph是一个开源的分布式存储系统，其存储体系架构包括以下关键组件和层次结构：

1. RADOS（Reliable Autonomic Distributed Object Store可靠的自主分布式对象存储）：
   • RADOS是Ceph的核心存储层，它将数据分成小的对象，并在多个存储节点之间复制和分布这些对象，以实现高可用性和容错性。

当我们谈论Ceph架构时，可以将其比喻为一个分布式存储系统的大脑和身体。

首先，我们有一个或多个称为监视器（Monitors）的大脑。这些监视器负责管理整个Ceph集群，跟踪存储元数据、管理集群状态和配置信息等。它们还负责处理客户端请求，帮助客户端找到正确的存储位置。

然后，我们有一组对象存储设备，比如硬盘，它们就像Ceph的身体。Pools（存储池）是RADOS中的逻辑容器，用于组织和管理对象。可以将存储池看作是一组相关的对象的集合，类似于文件夹或目录。每个存储池可以根据需要创建，并具有自己的设置和配置。例如，你可以创建一个存储池用于存储数据库备份，另一个存储池用于存储视频文件。

接下来是一组称为OSDs（Object Storage Daemons）的节点。每个OSD负责管理一块物理存储设备，并将数据划分成小的存储块。它们负责数据的读取、写入、复制和恢复，以及保持数据的可靠性和高可用性。

此外，Ceph使用CRUSH算法来决定数据在存储集群中的位置。CRUSH算法确保数据在各个存储设备之间均衡地分布，同时考虑设备的容量和负载情况。这样可以实现数据的高性能访问和冗余备份。

最后，我们有客户端应用程序或用户，它们通过网络与Ceph集群进行交互，读取和写入数据。客户端可以使用各种接口，如对象存储接口、文件系统接口或块设备接口来访问和操作数据。

RADOS GW和RBD：RADOS GateWay、RBD其作用是在librados库的基础上提供抽象层次更高、更便于应用或客户端使用的上层接口。其中，RADOS GW是一个提供与Amazon S3和Swift兼容的RESTful API的gateway，以供相应的对象存储应用开发使用。RBD则提供了一个标准的块设备接口，常用于在虚拟化的场景下为虚拟机创建volume。

CEPHFS：CEPHFS则提供了POSIX接口，用户可直接通过客户端挂载使用。

综上所述，Ceph架构由监视器、对象存储设备、OSD节点和客户端组成，通过CRUSH算法来实现数据的分布和管理。这个分布式存储系统的设计使得数据在大规模环境下具有高性能、可靠性和可扩展性，并为用户提供灵活的存储解决方案。

04 简述ceph pool 有几种类型？

Ceph中的Pool是一种用于组织和管理数据的存储单元，它可以根据不同的需求和用途进行配置。通常情况下，Ceph支持三种主要类型的Pool：

1. Replicated Pools（复制池）：

   • 复制池是最常见的一种Pool类型。在复制池中，数据对象会被复制到多个存储节点上，以提供高可用性和冗余。如果一个存储节点发生故障，数据仍然可以从其他副本中恢复。
   • 复制池适用于需要高可靠性和冗余的应用场景，但它可能会消耗更多的存储空间，因为每个对象都有多个副本。

2. Erasure-coded Pools（纠删码池）：

   • 纠删码池使用纠删码编码技术，将数据切割成小块，并对这些块进行编码。然后，这些编码块会分散存储在不同的存储节点上，以实现数据的冗余和可用性。
   • 纠删码池在一定程度上降低了存储空间的需求，因为它相对于复制来说更加节省空间。但它通常需要更多的计算资源来编码和解码数据块。

3. Cache Tier Pools（缓存层池）：

   • 缓存层池用于优化数据的访问性能。它通常包括两个池：一个是原始数据池，另一个是用于缓存的池。
   • 原始数据池存储实际的数据，而缓存池存储数据的缓存副本。热门或频繁访问的数据会被缓存到缓存池中，以提高读取性能。

这些不同类型的Pool可以根据具体的需求来配置，以满足不同应用场景的要求。例如，如果对数据的可用性要求很高，可以选择使用复制池。如果对存储空间的有效利用非常重要，可以考虑使用纠删码池。而如果需要提高数据访问性能，可以使用缓存层池。

既然erasure-coded pool（纠删码池）那么好，都用它就行了，为啥还需要replicated pool（副本池）？

虽然erasure-coded pool在存储效率方面具有优势，但它也存在一些限制和适用场景的考虑。以下是为什么还需要使用replicated pool的原因：

1. 写入性能：纠删码池需要进行编码和解码操作，这会带来额外的计算开销。相比之下，副本池只需要简单地将数据对象复制到多个节点上，写入性能更高。

2. 数据访问延迟：由于纠删码池需要对数据进行解码操作，读取请求的处理时间会比副本池长。如果应用程序对低延迟有较高要求，则副本池可以提供更快的数据访问速度。

3. 存储容量：纠删码池确实在存储效率方面比副本池更高，因为它可以使用较少的冗余数据。然而，纠删码保护也需要存储额外的校验块，这会增加一定的存储开销。如果存储容量不是主要关注点，副本池可以提供更简单、更直观的数据备份。

4. 维护复杂性：纠删码池的设置和维护相对较为复杂。它需要配置纠删码规则、确定数据块和校验块的数量等。相比之下，副本池的配置和管理更加简单。

05 简述Ceph Pool、PG、ODDs的关系？

Pool又被划分为多个逻辑区块组（PG），每个PG是一个固定大小的分组，包含了一定数量的对象副本。PG也需要通过CRUSH算法映射到OSD中去存储。以二副本为例，每个PG都会映射到两个OSD上，比如[osd.1,osd.2]，那么osd.1是存放该PG的主副本，osd.2是存放该PG的从副本，保证了数据的冗余。

OSD是Ceph存储集群中的实际存储设备，它们负责存储和管理数据。每个OSD代表一个物理存储节点上的存储设备，例如硬盘或固态硬盘。

06 简述Ceph节点的角色？

Ceph中有几种不同角色的节点，每个节点都有自己的任务和责任，就像团队中的不同成员。以下是通俗易懂的解释：

1. Monitor（监控节点）：监控节点就像团队的领导者，它们负责监督整个Ceph存储集群的状态和健康状况。它们记录存储集群中的信息，协调各种操作，确保系统正常运行。如果有问题，监控节点会采取措施来修复或通知其他节点采取行动。

2. OSD（对象存储守护进程节点）

3. MDSs：Ceph元数据服务器（MDS）为Ceph文件系统存储元数据（也就是说，Ceph块设备和Ceph 对象存储不使用MDS）
   在这个上下文中，元数据指的是描述文件、文件夹和其他数据对象的信息，例如文件名、文件大小、创建日期、修改日期、所有者、权限等等。

4. **RADOS Gateway（RADOS网关节点）**它们提供了对象存储接口，允许外部应用程序通过标准的对象存储协议（如S3、Swift）来访问Ceph中的对象数据