ceph version 17.2.8 部署指南

规划：

服务器IP	主机名称
192.168.100.181	ceph01
192.168.100.182	ceph02
192.168.100.183	ceph03

hostnamectl set-hostname ceph01

hostnamectl set-hostname ceph02

hostnamectl set-hostname ceph03

1、安装docker

yum install -y yum-utils device-mapper-persistent-data lvm2 vim wget -ywget -O /etc/yum.repos.d/docker-ce.repo https://repo.huaweicloud.com/docker-ce/linux/centos/docker-ce.repo

yum install docker-ce -y

[root@localhost ~]# docker --versionDocker version 28.4.0, build d8eb465

2、挂载数据盘存储日志docker相关

mkfs.ext4 /dev/sdbmkdir /datahmount /dev/sdb /datahls -l /dev/disk/by-uuid/blkid |grep sdbecho UUID=《ID》 /datah ext4 defaults 0 0 >> /etc/fstab

3、创建docker配置文件调整镜像源、存储路径、网络、日志规则

cat > /etc/docker/daemon.json << EOF{  "exec-opts": ["native.cgroupdriver=systemd"],  "registry-mirrors": [    "https://docker.1panel.live",    "https://docker.m.daocloud.io",    "https://registry.dockermirror.com",    "https://docker.aityp.com/",    "https://docker.anyhub.us.kg",    "https://dockerhub.icu",    "https://docker.awsl9527.cn"  ],  "insecure-registries":["hub.youede.com"],  "max-concurrent-downloads": 10,  "log-driver": "json-file",  "log-level": "warn",  "log-opts": {    "max-size": "10m",    "max-file": "3"    },  "data-root": "/datah/docker",  "bip": "170.64.0.1/16"}EOF

4、docker 加入开启自启动

systemctl restart dockersystemctl status dockersystemctl enable docker

5、所有节点安装python3

yum install python3 python3.12

6、下载 Ceph 官方的 cephadm 管理工具并赋予其可执行权限

curl --silent --remote-name --location https://download.ceph.com/rpm-17.2.9/el9/noarch/cephadmchmod a+x cephadmmv cephadm /usr/local/bin/

7、所有节点加上hosts解析

vim /etc/hosts192.168.100.181 ceph01192.168.100.182 ceph02192.168.100.183 ceph03

8、几台服务器之间做好免密操作

ssh-keygenssh-copy-id ceph01ssh-copy-id ceph02ssh-copy-id ceph03 scp /usr/local/bin/cephadm root@ceph02:/usr/local/binscp /usr/local/bin/cephadm root@ceph03:/usr/local/bin

9、全面检查当前服务器是否满足部署 Ceph 集群的基础条件，并验证服务器的主机名是否符合预期

cephadm check-host --expect-hostname `hostname`

10、关闭防火墙以及selinux

# 所有节点都需要做systemctl disable --now firewalldsetenforce 0sed -i 's/SELINUX=/SELINUX=disabled/g' /etc/selinux/configreboot

11、初始化ceph 集群

当前节点安装 mon、mgr 角色,部署 prometheus、grafana、alertmanager、node-exporter等眼务

cephadm bootstrap --mon-ip 192.168.100.181 --initial-dashboard-user admin --initial-dashboard-password Admin2025

Creating initial admin user...Fetching dashboard port number...Ceph Dashboard is now available at:       URL: https://ceph01:8443/     User: admin Password: Admin2025 Enabling client.admin keyring and conf on hosts with "admin" labelSaving cluster configuration to /var/lib/ceph/c59c1600-979e-11f0-a34c-000c2979c931/config directoryYou can access the Ceph CLI as following in case of multi-cluster or non-default config:  sudo /usr/local/bin/cephadm shell --fsid c59c1600-979e-11f0-a34c-000c2979c931 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring Or, if you are only running a single cluster on this host:  sudo /usr/local/bin/cephadm shell  Please consider enabling telemetry to help improve Ceph:  ceph telemetry on For more information see:  https://docs.ceph.com/en/latest/mgr/telemetry/

12、在所有节点上提前下载好镜像

docker pull quay.io/prometheus/prometheus:v2.43.0     docker pull quay.io/ceph/ceph-grafana:9.4.7           docker pull quay.io/prometheus/node-exporter:v1.5.0   docker pull quay.io/prometheus/alertmanager:v0.25.0   docker pull  quay.io/ceph/ceph:v17

13、此时ceph已经部署成功（只是基础服务好了）

https://192.168.100.181:8443/#/dashboardadmin / Admin2025

14、将 Ceph 集群的公钥（ceph.pub）批量复制到 ceph02 和 ceph03 节点

ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph02ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph03

15、添加集群节点-标记节点为集群可用节点

#添加主机-如果把osd节点也当mon也可以 最多5个moncephadm shell ceph orch host add ceph02 192.168.100.182cephadm shell ceph orch host add ceph03 192.168.100.183

16、查看集群管理的所有节点列表

cephadm shell ceph orch host ls

17、可以调整ceph-mon 节点为3个

cephadm shell ceph orch apply mon ceph01 cephadm shell ceph orch apply mon ceph02cephadm shell ceph orch apply mon ceph03#或者ceph orch apply mon ceph01,ceph02,ceph03

18、列出可使用的硬盘

cephadm shell ceph orch device ls

19、添加osd

### 添加osd### 增加osd 磁盘：cephadm shell   ceph orch daemon add osd ceph01:/dev/sdb   ceph orch daemon add osd ceph01:/dev/sdc   ceph orch daemon add osd ceph01:/dev/sdd    ceph orch daemon add osd ceph02:/dev/sdb   ceph orch daemon add osd ceph02:/dev/sdc   ceph orch daemon add osd ceph02:/dev/sdd    ceph orch daemon add osd ceph03:/dev/sdb   ceph orch daemon add osd ceph03:/dev/sdc   ceph orch daemon add osd ceph03:/dev/sdd

20、查看磁盘