ceph集群基本概念与管理

ceph集群基本概念

1. ceph集群整体结构图
   

2. ceph配置文件

   标准位置：/etc/ceph/ceph.conf

   组成部分：

   ## 全局配置，全局生效 [global] fsid = 537175bb-51de-4cc4-9ee3-b5ba8842bff2 public_network = 10.0.0.0/8 cluster_network = 10.0.0.0/8 mon_initial_members = ceph-node1 mon_host = 10.153.204.xx:6789,10.130.22.xx:6789,10.153.204.xx:6789 auth_cluster_required = cephx auth_service_required = cephx auth_client_required = cephx  ## osd专用配置，可以使用osd.num 来表示具体的哪一个osd [osd] [osd.1]  ## monitor专用配置，可以使用mon.A 来表示具体的哪一个monitor，其中A表示该节点的名称，使用ceph mon dump可以查看。 [mon] [mon.a]  ## 客户端专用配置 [client]  

   ceph配置文件的加载顺序：

   • $CEPH_CONF 环境变量
   • -c 指定的位置
   • /etc/ceph/ceph.conf
   • ~/.ceph/ceph.conf
   • ./ceph.conf

3. 存储池类型

   • 副本池：replicated
     • 定义每个对象在集群中保存为多少个副本，默认为三个副本，一主两备
     • 实现高可用，副本池是 ceph 默认的存储池类型。
   • 纠删码池：erasure code
     • 把各对象存储为 N=K+M 个块，其中 K 为数据块数量，M 为编码块数量，因此存储池的尺寸为 K+M。
     • 即数据保存在 K 个数据块，并提供 M 个冗余块提供数据高可用，那么最多能故障的块就是 M 个，实际的磁盘占用就是 K+M 块，因此相比副本池机制比较节省存储资源，一般采用 8+4 机制，即 8 个数据块+4 个冗余块，那么也就是 12 个数据块有 8 个数据块保存数据，有 4 个 实现数据冗余，即 1/3 的磁盘空间用于数据冗余，比默认副本池的三倍冗余节省空间，但是不能出现大于一定数据块故障。
     • 不是所有的应用都支持纠删码池，RBD 只支持副本池而 radosgw 则可以支持纠删码池。
     • 对于文件系统及块存储，由于读写性能的问题 Ceph 不建议使用纠删码池。

   如何查看某个存储池为什么类型：

   $ ceph osd pool get test crush_rule crush_rule: erasure-code 

4. 副本池IO

   • 将一个数据对象存储为多个副本。
   • 在客户端写入操作时，ceph 使用 CRUSH 算法计算出与对象相对应的 PG ID 和 primary OSD ，主 OSD 根据设置的副本数、对象名称、存储池名称和集群运行图(cluster map)计算出 PG 的 各辅助 OSD，然后由 OSD 将数据再同步给辅助 OSD。

   读写数据：

   ## 读数据 1.客户端发送读请求，RADOS 将请求发送到主 OSD。 2.主 OSD 从本地磁盘读取数据并返回数据，最终完成读请求。  ## 写数据 1.客户端APP请求写入数据，RADOS发送数据到主OSD。 2.主OSD写入完毕后将完成信号给客户端APP，并发送数据到各副本OSD。 3.副本OSD写入数据，并发送写入完成信号给主OSD。 

5. 纠删码池 IO

   • Ceph 从 Firefly 版本开始支持纠删码，但是不推荐在生产环境使用纠删码池。
   • 纠删码池降低了数据保存所需要的磁盘总空间数量，但是读写数据的计算成本要比副本池高 ，RGW 可以支持纠删码池，RBD 不支持。

   读写数据：

   ## 读数据 1.从相应的 OSDs 中获取数据后进行解码 2.如果此时有数据丢失，Ceph 会自动从存放校验码的 OSD 中读取数据进行解码 3.完成数据解码后返回数据  ## 写数据 1.数据将在主 OSD 进行编码然后分发到相应的 OSDs 上去 2.计算合适的数据块并进行编码 3.对每个数据块进行编码并写入OSD 

6. PG与PGP

   • PG = Placement Group # 归置组
   • PGP = Placement Group for Placement purpose # 归置组的组合，pgp 相当于是 pg 对应 osd 的 一种排列组合关系。

   归置组(placement group)是用于跨越多osd将数据存储在每个存储池中的内部数据结构。 pg 在 osd 守护进程和 ceph 客户端之间的一个中间层，hash 算法负责将每个对象动态映射到一个pg中，此pg即为主pg，按照存储池的副本数量（例如3个）会再将每个主pg再复制出两个副本pg，CRUSH 算法负责将 三个 pg 动态映射到三个不同的 OSD 守护进程中，此三个pg组成一个pgp，从而在 osd 中达到多副本高可用。

   文件寻址流程大致如下图所示：

File->Objects->PGs->OSDs。

需要注意的几个点：

• PG和PGP可以自定义数量，且是针对于存储池的，但PG总数会根据OSD集群的大小决定
• 相对于存储池来说，PG是一个虚拟组件，它是对象映射到存储池时使用的虚拟层
• 出于规模伸缩及性能方面的考虑，ceph将存储池细分为多个PGP，每个PGP中有一个主PG，主PG所在的OSD节点便是主OSD。
• 当有新OSD节点加入集群时，ceph会通过CRUSH重新组合PGP，致使每个OSD都有数据，达到整个集群的数据平衡。

PG的分配计算：

• 官方建议：每个osd中的pg数量最好不要超过100个，公式：Total PGS = (Total_number_of _osd * 100) / max_replication_count

• 具体算法：举例现在有12台osd机器，我需要创建20个存储池。

  此时pg总数为：12 * 100 / 3 = 400

  平均每个存储池分配pg数量为：400 / 20 = 20

  这里计算出，平均每个存储池可以分配20个pg，但每个存储池pg的个数推荐为2的N次幂，故2、4、8、16、32、64、128等，这时要结合具体的pool是来存储什么，大概能存储多少数据来进行一个简单的转换，如果此pool只存储一些元数据，则分配4即可，反之数据量比较大的，可以分配16、32等。

  另外pool中pg个数是推荐用2的整数次幂，也可以不用，但会有警告提示。

PG与PGP组合：

2. 查看replicapool池的pg、pgp数量

   $ ceph osd pool get replicapool pg_num  pg_num: 32 $ ceph osd pool get replicapool pgp_num  pgp_num: 32 

   查看replicapool池的pg、pgp分布

   $ ceph pg ls-by-pool replicapool | awk '{print $1,$2,$15}' PG OBJECTS ACTING 2.0 596 [3,1,0]p3 2.1 623 [3,4,0]p3 2.2 570 [3,4,0]p3 2.3 560 [3,4,0]p3 2.4 630 [0,3,4]p0 2.5 574 [4,0,3]p4 2.6 572 [4,3,0]p4 2.7 572 [3,4,0]p3 2.8 622 [3,4,0]p3 2.9 555 [0,3,4]p0 2.a 523 [1,3,0]p1 2.b 574 [4,3,0]p4 2.c 620 [4,3,0]p4 2.d 637 [1,3,0]p1 2.e 522 [0,3,4]p0 2.f 599 [4,3,0]p4 2.10 645 [4,3,0]p4 2.11 534 [3,4,0]p3 2.12 622 [4,3,0]p4 2.13 577 [1,3,0]p1 2.14 661 [3,4,0]p3 2.15 626 [1,3,0]p1 2.16 585 [2,4,0]p2 2.17 610 [3,4,0]p3 2.18 610 [4,2,0]p4 2.19 560 [4,3,0]p4 2.1a 599 [3,4,0]p3 2.1b 614 [1,2,0]p1 2.1c 581 [4,3,0]p4 2.1d 614 [4,3,0]p4 2.1e 595 [0,3,1]p0 2.1f 572 [3,4,0]p3    * NOTE: afterwards 

PG的状态解释：

在osd扩缩容或者一些特殊情况的时候，ceph会以pg为整体进行rebalancing数据重平衡，此时pg会出现很多不同的状态，例如：

$ ceph -s    cluster:     id:     537175bb-51de-4cc4-9ee3-b5ba8842bff2     health: HEALTH_WARN             Degraded data redundancy: 152/813 objects degraded (18.696%), 43 pgs degraded, 141 pgs undersized     services:     mon: 2 daemons, quorum yq01-aip-aikefu10,bjkjy-feed-superpage-gpu-04 (age 111s)     mgr: yq01-aip-aikefu10(active, since 11d), standbys: bjkjy-feed-superpage-gpu-04     mds: mycephfs:1 {0=ceph-node2=up:active} 1 up:standby     osd: 8 osds: 8 up (since 3d), 8 in (since 3d); 124 remapped pgs     rgw: 2 daemons active (ceph-node1, ceph-node2)     task status:     data:     pools:   8 pools, 265 pgs     objects: 271 objects, 14 MiB     usage:   8.1 GiB used, 792 GiB / 800 GiB avail     pgs:     152/813 objects degraded (18.696%)              114/813 objects misplaced (14.022%)              111 active+clean+remapped              98  active+undersized              43  active+undersized+degraded              13  active+clean 

• clean：干净态，PG当前不存在待修复的对象，并且大小等于存储池的副本数，即PG的活动集(Acting Set)和上行集(Up Set)为同一组 OSD 且内容一致。
• active：就绪状态或活跃状态，Active 表示主 OSD 和备 OSD 处于正常工作状态，此时的 PG 可以正常 处理来自客户端的读写请求，正常的 PG 默认就是 Active+Clean 状态。
• peering：正在同步状态，同一个 PG 中的OSD需要将准备数据同步一致，而Peering(对等)就是OSD同步过程中的状态。
• activating：Peering 已经完成，PG 正在等待所有 PG 实例同步 Peering 的结果(Info、Log 等)
• degraded：降级状态，出现于 OSD 被标记为 down 以后，那么其他映射到此 OSD 的 PG 都会转换到降级状态，如果此OSD被标记为down的时间超过 5 分钟还没有修复，ceph 会对被降级的 PG 启动恢复操作，直到所有由于此 OSD 而被降级的 PG 重新恢复为 clean 状态。
• undersized：PG 当前副本数小于其存储池定义的值的时候，PG 会转换为 undersized 状态，直到添加备 份 OSD 添加完成，或者修复完成。
• remapped：当 pg 改变, 数据从旧的 OSD 迁移到新的 OSD, 新的主 OSD 应该请求将会花费一段时间, 在这段时间内, 将会继续向旧主 OSD 请求服务, 直到 PG 迁移完成。
• scrubbing：scrub 是 ceph 对数据的清洗状态，用来保证数据完整性的机制，Ceph 的 OSD 定期启动 scrub 线程来扫描部分对象，通过与其他副本比对来发现是否一致，主要检查元数据(metadata )信息，比如文件名、object属性、大小等，如果不一样，就会从主pg复制一份过去。
• stale：过期状态，正常状态下，每个OSD都要周期性的向 RADOS 集群中的监视器(mon)报告其作为OSD所持有的所有主PG的最新统计数据，因任何原因导致某个OSD无法正常向监视器发送汇报信息的、或者由其他OSD报告某个OSD已经down的时候，则所有以此OSD为主PG则会立即被标记为stale状态，即它们的主 OSD 已经不是最新的数据了。
• recovering：正在恢复态，集群正在执行迁移或同步对象和他们的副本。这可能是由于添加了一个新的OSD到集群中或者某个OSD 宕掉后，PG被CRUSH算法重新分配到不同的OSD，其中PG发生内部数据同步的过程。
• backfilling：后台填充态，backfill 是recovery的一种特殊场景，指peering完成后，如果基于当前权威日志无法对Up Set(上行集)当中的某些PG实例实施增量同步（例如承载这些 PG 实例的 OSD 离线太久，或者是新的 OSD 加入集群导致的 PG 实例整体迁移），则通过完全拷贝当前 Primary 所有对象的方式进行全量同步，此过程中的 PG 会处于 backfilling。
• backfill-toofull：某个需要被 Backfill 的 PG 实例，其所在的 OSD 可用空间不足，Backfill 流程当前被挂起时 PG给的状态。
• creating：创建PG中的状态，一般出现创建新pool时。
• incomplete：Peering过程中由于无法选出权威日志或者通过choos_acting选出的acting不足以完成数据恢复，（例如针对纠删码，存活的副本数小于k值）等，导致Peering无法正常完成。即pg元数据丢失，无法恢复pg状态。（ceph-objectstore-tool工具可以调整此状态pg为complete）

7. noscrub 和 nodeep-scrub

   • noscrub：数据轻量扫描，主要检查元数据信息是否一致，若不一致则会进行同步，一般为一天进行一次比对，默认开启。
   • nodeep-scrub：数据深度扫描，对所有数据的全量扫描，包括元数据、object等，一般一周进行一次，默认开启。

   数据校验时会导致读压力增大，如果扫描出数据不一致还要进行同步写，增大写的压力，因此在做扩容等操作的时候，我们会人为去设置noscrub与nodeep-scrub，暂停数据校验。查看pool是否开启清洗：

   $ ceph osd pool get replicapool noscrub noscrub: false $ ceph osd pool get replicapool nodeep-scrub nodeep-scrub: false 

8. 数据压缩

   如果使用 BlueStore 存储引擎，ceph 支持称为 "实时数据压缩" 即边压缩边保存数据的功能， 该功能有助于节省磁盘空间，可以在BlueStore OSD上创建的每个存储池池上启用或禁用压缩， 以节约磁盘空间，默认没有开启压缩，需要后期配置并开启：

   ## 开启压缩功能 $ ceph osd pool set <pool name> compression_algorithm <压缩算法>  算法介绍：   sanppy：默认算法，消耗cpu较少   zstd：压缩比好，但消耗 CPU   lz4：消耗cpu较少   zlib：不推荐    $ ceph osd pool set replicapool compression_algorithm snappy set pool 2 compression_algorithm to snappy  ## 指定压缩模式 $ ceph osd pool set <pool name> compression_mode <指定模式> 模式介绍：   none:从不压缩数据，默认值。   passive:除非写操作具有可压缩的提示集，否则不要压缩数据。   aggressive:压缩数据，除非写操作具有不可压缩的提示集。   force:无论如何都尝试压缩数据，即使客户端暗示数据不可压缩也会压缩，也就是在所有情况下都使用压缩  $ ceph osd pool set replicapool compression_mode passive set pool 2 compression_mode to passive 

   全局压缩选项，这些可以配置到 ceph.conf 中，作用于所有存储池：

   bluestore_compression_algorithm #压缩算法 bluestore_compression_mode      #压缩模式 bluestore_compression_required_ratio #压缩后与压缩前的压缩比，默认为.875 bluestore_compression_min_blob_size  #小于它的块不会被压缩,默认0 bluestore_compression_max_blob_size  #大于它的块在压缩前会被拆成更小的块,默认 0 bluestore_compression_min_blob_size_ssd #默认 8k bluestore_compression_max_blob_size_ssd #默认 64k bluestore_compression_min_blob_size_hdd #默认 128k bluestore_compression_max_blob_size_hdd #默认 512k 

   此功能开启会影响cpu的使用率，如果环境为生产环境，不建议开启此功能。

ceph集群管理命令

1. 存储池基本管理

   创建存储池，格式示例

   $ ceph osd pool create <poolname> pg_num pgp_num {replicated|erasure}  $ ceph osd pool create study 8 8  pool 'study' created 

   列出存储池

   $ ceph osd lspools 1 .rgw.root 2 study 

   重命名存储池，格式示例

   $ ceph osd pool rename old-name new-name   $ ceph osd pool rename study re-study pool 'study' renamed to 're-study' 

   显示存储池用量信息

   $ rados df  或者 $ ceph osd df  

   删除存储池

   ## 1、ceph为了防止存储池被误删，故设置了两个机制来保护，首先要将存储池的nodelete标志为false $ ceph osd pool set re-study nodelete false set pool 13 nodelete to true $ ceph osd pool get re-study nodelete nodelete: false  ## 2、第二个机制，要将mon设置为允许删除--mon-allow-pool-delete=true $ ceph tell mon.* injectargs --mon-allow-pool-delete=true  injectargs:mon_allow_pool_delete = 'true'   ## 3、开始删除，要写两边存储池的名字，并加参数--yes-i-really-really-mean-it $ ceph osd pool rm re-study re-study --yes-i-really-really-mean-it pool 're-study' removed 

2. 存储池配额

   存储池可以设置两个配对存储的对象进行限制，一个配额是最大空间(max_bytes)，另外一个 配额是对象最大数量(max_objects)，默认不会限制，例如：

   ## 查看replicapool存储池的配额情况，N/A表示不限制 $ ceph osd pool get-quota replicapool  quotas for pool 'replicapool':   max objects: N/A   max bytes  : N/A    ## 限制最大对象数为1000，最大byte为1000000000 $ ceph osd pool set-quota replicapool max_objects 1000 set-quota max_objects = 1000 for pool replicapool  $ ceph osd pool set-quota replicapool max_bytes 1000000000 set-quota max_bytes = 1000000000 for pool replicapool  $ ceph osd pool get-quota replicapool  quotas for pool 'replicapool':   max objects: 1k objects   max bytes  : 954 MiB    ## 可以再设置为不限额 $ ceph osd pool set-quota replicapool max_bytes 0 

3. 存储池常用参数

   查看存储池对象副本数 和 最小副本数

   $ ceph osd pool get replicapool size size: 1  $ ceph osd pool get replicapool min_size  min_size: 1 

   min_size：提供服务所需要的最小副本数，默认为2，表示如果一个3副本的存储池，其中一个副本所在的osd坏掉了，那么还剩两副本，可以正常工作，但如果再坏掉一个，只剩下一个副本，则此存储池不能正常提供服务。

   查看存储池pg、pgp数量

   $ ceph osd pool get replicapool pg_num  pg_num: 32  $ ceph osd pool get replicapool pgp_num  pgp_num: 32 

   控制是否可以更改存储池的pg、pgp、存储大小

   $ ceph osd pool get replicapool nopgchange nopgchange: false  $ ceph osd pool get replicapool nosizechange nosizechange: false 

   轻量扫描和深层扫描管理

   ## 关闭轻量扫描和深层扫描 $ ceph osd pool set replicapool noscrub true $ ceph osd pool set replicapool nodeep-scrub true  ## 扫描的最小与最大间隔时间，默认没设置，如果需要，则要在配置文件中指定 osd_scrub_min_interval xxx osd_scrub_max_interval xxx osd_deep_scrub_interval xxx 

   ceph osd默认配置查看

   $ ceph daemon osd.1 config show | grep scrub 

表情 点击这里取消回复。