配置新节点
ceph orch host add local-168-182-131
ceph orch host add local-168-182-132
#第一次部署新节点时直接用上边的命令即可：
#但是之后的节点新增有可能上述命令出错：
ceph orch host add local-168-182-131 192.168.182.133 #后边跟上对应的IP
# 查看节点
ceph orch host ls
# ceph orch apply mon *<number-of-monitors>*
# 确保在此列表中包括第一台（引导）主机。
ceph orch apply mon local-168-182-130,local-168-182-131,local-168-182-132
9）部署 osd
存储设备清单可以显示为：
ceph orch device ls
可用存储设备的条件：
- 设备必须没有分区。
- 设备不得具有任何LVM状态。
- 不得安装设备。
- 该设备不得包含文件系统。
- 该设备不得包含Ceph BlueStore OSD。
- 设备必须大于5 GB。
创建osd的方式：
# 【第一种方式】告诉Ceph使用任何可用和未使用的存储设备：
ceph orch apply osd --all-available-devices
# 【第二种方式】或者使用下面命令指定使用的磁盘（推荐使用这种方式吧）
#1. ceph orch daemon add osd *<host>*:*<device-path>*
#例如：
#从特定主机上的特定设备创建OSD：
ceph orch daemon add osd local-168-182-130:/dev/sdb
ceph orch daemon add osd local-168-182-130:/dev/sdc
ceph orch daemon add osd local-168-182-131:/dev/sdb
ceph orch daemon add osd local-168-182-131:/dev/sdc
ceph orch daemon add osd local-168-182-132:/dev/sdb
ceph orch daemon add osd local-168-182-132:/dev/sdc
删除OSD节点:(安全)
#1.停止osd进程
ceph osd stop x //(x 可以通过ceph osd ls 查看)
#停止osd的进程，这个是通知集群这个osd进程不在了，不提供服务了，因为本身没权重，就不会影响到整体的分布，也就没有迁移
#2.将节点状态标记为out
ceph osd out osd.x
#停止到osd的进程，这个是通知集群这个osd不再映射数据了，不提供服务了，因为本身没权重，就不会影响到整体的分布，也就没有迁移
#3. 从crush中移除节点
ceph osd crush remove osd.x
这个是从crush中删除，
#4. 删除节点
ceph osd rm osd.x
这个是从集群里面删除这个节点的记录ls
#5. 删除节点认证（不删除编号会占住）
ceph auth del osd.x
这个是从认证当中去删除这个节点的信息
10）部署mds(cephFS元数据守护程序)
# ceph orch apply mds *<fs-name>* --placement="*<num-daemons>* [*<host1>* ...]"
ceph orch apply mds myfs --placement="3 local-168-182-130 local-168-182-131 local-168-182-132"
11）部署RGW
# 为特定领域和区域部署一组radosgw守护程序：
# ceph orch apply rgw *<realm-name>* *<zone-name>* --placement="*<num-daemons>* [*<host1>* ...]"
ceph orch apply rgw myorg us-east-1 --placement="3 local-168-182-130 local-168-182-131 local-168-182-132"
###说明：
#myorg : 领域名 （realm-name）
#us-east-1: 区域名 （zone-name）myrgw
#Cephadm将等待运行正常的群集，并在部署rgw守护程序之前自动创建所提供的领域和区域（realm-name和zone-name不存在的情况）
查看集群状态
ceph -s
# ceph-mgr节点默认会挑选一主一备
# 添加新节点
ceph orch host add local-168-182-131 192.168.182.133
# 部署ceph-mgr
ceph orch apply mgr local-168-182-130,local-168-182-131,local-168-182-132
# ceph orch apply mgr local-168-182-130,local-168-182-131,local-168-182-132,local-168-182-133
