ceph的quincy是ceph的第17个版本,初始发行时间是2022-04-19,本文将通过cephadm工具来搭建quincy的集群。
规划
三台Rocky Linux 8.7服务器,4核CPU,4G内存,根磁盘50GB,数据盘一个100GB(磁盘无需初始化操作,fdisk -l中可见即可)
1 2 3 | 10.10.10.161 ceph1 10.10.10.162 ceph2 10.10.10.163 ceph3 |
关闭防火墙关闭selinux,如不关闭,则需要自行放行端口
1 2 3 4 | systemctl stop firewalld systemctl disable firewalld setenforce 0 sed -i ‘s/^SELINUX=.*/SELINUX=disabled/’ /etc/selinux/config |
以下1~4步分别在三台节点中执行
1、同步时间
如果你想使用传统的ntpdate同步时间,可参考https://www.wlnmp.com/post-664.html
建议使用新的时间同步方式chrony,此处不做过多说明,时间同步都不会,后面的教程你也搞不定!
2、分别对应修改三台机器hostname
1 2 3 | hostnamectl set-hostname ceph1 hostnamectl set-hostname ceph2 hostnamectl set-hostname ceph3 |
3、在三台机器分别添加配置hosts
1 2 3 | 10.10.10.161 ceph1 10.10.10.162 ceph2 10.10.10.163 ceph3 |
4、在三台机器分别安装配置podman
1 | dnf install yum-utils python3 podman |
以下内容仅在ceph1中执行
5、安装cephadm
1 | curl –silent –remote-name –location https://github.com/ceph/ceph/raw/quincy/src/cephadm/cephadm |
或
1 | curl -o cephadm –silent –remote-name –location http://down.whsir.com/downloads/cephadm17 |
6、给予cephadm执行权限
1 | chmod +x cephadm |
7、安装cephadm到当前节点
1 2 | dnf install –assumeyes centos-release-ceph-quincy dnf install –assumeyes cephadm |
8、引导ceph集群
1 | cephadm bootstrap –mon-ip 10.10.10.161 |
9、安装Ceph CLI
方法一:通过交互模式执行ceph等相关命令
1 2 3 4 5 | [root@ceph1 ~]# cephadm shell Inferring fsid 6174cfc0-e3da-11ed-b6bb-52540079c777 Inferring config /var/lib/ceph/6174cfc0-e3da-11ed-b6bb-52540079c777/mon.ceph1/config quay.io/ceph/ceph@sha256:616a304ce397b8a5001d78436f7899d3507bd1d3b8fbc971e4d89c1555a6ed1f [ceph: root@ceph1 /]# exit |
方法二:非交互模式,每次执行ceph命令都通过cephadm shell –前缀来执行,如
1 | cephadm shell — ceph -v |
方法三(推荐):安装工具包组,直接可在宿主机执行ceph等相关命令
1 | dnf install ceph-common |
安装完成后,可直接执行ceph等相关命令。
10、查看ceph集群容器所有组件运行状态
1 | ceph orch ps |
确保STATUS状态全部是running
11、拷贝密钥到另外两台主机上
1 | ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph2 |
1 | ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph3 |
12、将另外两个主机添加至集群中
1 | ceph orch host add ceph2 10.10.10.162 |
1 | ceph orch host add ceph3 10.10.10.163 |
13、查看主机
1 | ceph orch host ls |
HOST ADDR LABELS STATUS
ceph1 10.10.10.161 _admin
ceph2 10.10.10.162
ceph3 10.10.10.163
3 hosts in cluster
1 | ceph orch ps |
因为是在线安装,由于网络原因可能会在这一部等好久,确保STATUS状态全部是running,再进行下一步。
1 | ceph orch ls |
14、创建OSD
方法一(推荐):自动添加所有满足条件的OSD
1 | 方法一(推荐):自动添加所有满足条件的OSD |
方法二:手工指定的方式添加OSD
1 2 3 | ceph orch daemon add osd ceph1:/dev/vdb ceph orch daemon add osd ceph2:/dev/vdb ceph orch daemon add osd ceph3:/dev/vdb |
稍等片刻,通过命令检查,Available显示no,表示OSD创建完成
1 | ceph orch device ls |
此时通过仪表盘可看到集群正常
通过命令看下集群状态正常
1 | ceph -s |
至此ceph version 17.2.6 quincy(stable)集群在线版部署完成