ceph之踢出服务器节点操作指南

1、进入交互式管理终端

cephadm shell

2、查看 OSD 拓扑

ceph osd tree

目标：要从 Ceph 集群中移除 master3 上的 OSD 并释放该主机

3、标记 OSD 为 "out"

首先，标记 master3 上的所有 OSD 为 "out"，以便从集群中移除它们。

ceph osd out osd.22ceph osd out osd.24ceph osd out osd.25ceph osd out osd.26ceph osd out osd.27ceph osd out osd.29ceph osd out osd.31ceph osd out osd.32

4、停止并删除 OSD 容器

然后，可以停止并删除这些 OSD 容器。假设这些 OSD 是通过 Cephadm 管理的，可以使用以下命令：

ceph orch ps  |grep master3

找到 master3 上的所有 OSD 容器，然后执行以下命令停止并删除它们：

ceph orch daemon rm osd.<ID> --force

重复此步骤，删除 master3 上的所有 OSD。

ceph orch daemon rm osd.22 --forceceph orch daemon rm osd.24 --forceceph orch daemon rm osd.25 --forceceph orch daemon rm osd.26 --forceceph orch daemon rm osd.27 --forceceph orch daemon rm osd.29 --forceceph orch daemon rm osd.31 --forceceph orch daemon rm osd.32 --force

5、移除主机上的 OSD 设备

如果您希望彻底移除 master3 上的 OSD 设备（磁盘），可以使用 cephadm 删除主机上的 OSD 配置：

ceph orch host lsceph orch host rm master3

这将从 Ceph 集群中删除 master3 主机及其 OSD 配置。

6、osd 仍未完全删除

ceph osd crush remove osd.22ceph osd rm osd.22ceph auth del osd.22

解决方案：

ceph osd crush remove osd.22  ceph osd crush remove osd.24  ceph osd crush remove osd.25  ceph osd crush remove osd.26  ceph osd crush remove osd.27  ceph osd crush remove osd.29
ceph osd rm osd.22  ceph osd rm osd.24  ceph osd rm osd.25  ceph osd rm osd.26  ceph osd rm osd.27  ceph osd rm osd.29
ceph auth del osd.22  ceph auth del osd.24  ceph auth del osd.25  ceph auth del osd.26  ceph auth del osd.27  ceph auth del osd.29

7、在master3服务器上停止ceph 服务

[root@master3 ~]# systemctl stop ceph.target

8、解决移除服务器节点后的警告信息

ceph -w

8.1、查询 ceph 里面有那些副本池

[ceph: root@master1 /]# ceph osd pool lsdevice_health_metricsrbd

8.2、查看存储池的「PG 数量」

[ceph: root@master1 /]# ceph osd pool get rbd sizesize: 3[ceph: root@master1 /]# ceph osd pool get device_health_metrics sizesize: 3

8.3、修改存储池的「PG 数量」

[ceph: root@master1 /]# ceph osd pool set device_health_metrics size 2set pool 1 size to 2[ceph: root@master1 /]# ceph osd pool set rbd size 2set pool 2 size to 2