Ceph

Ceph Dashboard

启用 dashboard module

# 启用
# ceph mgr module enable dashboard


# 验证是否启用
# ceph mgr module ls
{
    "enabled_modules": [
        "balancer",
        "crash",
        "dashboard", # 已启用
        "iostat",
        "restful",
        "status"
    ],
...

http dashboard

若使用http协议的Dashboard V2，需要设定禁用SSL功能：

# ceph config set mgr mgr/dashboard/ssl false

https dashboard

若使用https协议的Dashboard V2，需要以如下步骤生成证书及相关配置：

Dashboard要通过https协议提供服务。管理员可配置其使用自动生成的自签证书，也可以为其提供自定义的证书文件，⼆者选其⼀即可。
- 若需要使用自签证书，运行如下命令生成自动生成证书即可：
- # ceph dashboard create-self-signed-cert
- 若需要自定义证书，则应该通过合适的方式获取到相关证书。例如，以如下方式运行命令生成自定义的证书：
- # openssl req -new -nodes -x509 -subj "/O=IT/CN=ceph-mgr-dashboard" \ -days 3650 -keyout dashboard.key -out dashboard.crt -extensions v3_ca
而后配置dashboard加载证书：

Ceph配置文件

https://docs.ceph.com/en/latest/rados/configuration/ceph-conf/#

Ceph 配置文件加载顺序

$cluster 为集群名称，默认为ceph（参阅Ceph元变量）

$CEPH_CONF（$CEPH_CONF 环境变量后面的路径）
-c path/path （命令行-c参数）
/etc/ceph/$cluster.conf
~/.ceph/$cluster.conf
./$cluster.conf（在当前工作目录中）
仅在 FreeBSD 系统上，/usr/local/etc/ceph/$cluster.conf

Ceph 配置文件说明

Ceph 配置文件使用 ini 风格的语法。您可以在井号 (#) 或分号 (;) 后添加注释文本；
选项名称可以使用 _ 作为分隔符，也可以使用 - 作为分隔符，但建议统一使用 _ 作为分隔符。
- 例如：mon-host 等同于 mon_host
配置优先级：
- 越具体，越优先，例如：[global] 和 [osd.1] 部分定义了相同类型的配置，则 [osd.1] 中定义的值生效
- 如果在同一部分中指定了同一配置选项的多个值，则最后一个值优先。
- 请注意，本地配置文件中的值始终优先于监视器配置数据库中的值，无论它们出现在哪个部分。

# 全局配置段，会影响 Ceph 存储集群中的所有守护进程和客户端。
[global]
debug_ms = 0
log_file = /var/log/ceph/$cluster-$type.$id.log
# 示例选项，支持长格式换行写入，下面的例子相当于 foo = long long ago long ago
foo = long long ago\
long ago

# mon配置段，会影响 Ceph 存储集群中的所有ceph-mon守护进程，并覆盖 global.
[mon]
mon_cluster_log_to_syslog = true

# mgr配置段，会影响 Ceph 存储集群中的所有ceph-mgr守护进程，并覆盖 global.
[mgr]
mgr_stats_period = 10

# osd配置段，会影响 Ceph 存储集群中的所有ceph-osd守护进程，并覆盖 global.
[osd]
debug_ms = 1
osd_op_queue = wpq

[osd.1] # 针对某个单独的osd守护进程进行配置
debug_ms = 10

[osd.2] # 针对某个单独的osd守护进程进行配置
debug_ms = 10

# mds配置段，会影响 Ceph 存储集群中的所有ceph-mds守护进程，并覆盖 global.
[mds]
mds_cache_memory_limit = 10G


# client配置段，会影响所有 Ceph 客户端（例如，挂载的 Ceph 文件系统、挂载的 Ceph 块设备等）以及 Rados 网关 (RGW) 守护进程。
[client]
objecter_inflight_ops = 512

[client.smith] # 针对某个单独的客户端进行配置

Ceph 元变量

https://docs.ceph.com/en/latest/rados/configuration/ceph-conf/#metavariables

Ceph相关工具

ceph 集群管理

打印集群状态

# ceph -s
  cluster:
    id:     23af67b8-235b-48f2-8dfe-8b52370a7419
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum stor01,stor02,stor03
    mgr: stor02(active), standbys: stor01
    mds: cephfs-1/1/1 up  {0=stor01=up:active}
    osd: 3 osds: 3 up, 3 in
    rgw: 1 daemon active
 
  data:
    pools:   8 pools, 240 pgs
    objects: 214  objects, 3.5 KiB
    usage:   3.0 GiB used, 597 GiB / 600 GiB avail
    pgs:     240 active+clean

停止或重启Ceph集群

停止

告知Ceph集群不要将OSD标记为out
- 命令：ceph osd set noout
按如下顺序停止守护进程和节点
- 存储客户端
- 网关，例如 NFS Ganesha 或对象网关
- 元数据服务器
- Ceph OSD
- Ceph Manager
- Ceph Monitor

启动

以与停止过程相关的顺序启动节点
- Ceph Monitor
- Ceph Manager
- Ceph OSD
- 元数据服务器
- 网关，例如 NFS Ganesha 或对象网关
- 存储客户端
删除noout标志
- 命令：ceph osd unset noout

MON

打印 MON 状态

集群中存在多个Mon主机时，应该在启动集群之后读取或写入数据之前检查Mon的仲裁状态；事实上，管理员也应该定期检查这种仲裁结果

显示监视器映射

# ceph mon stat
e1: 3 mons at {stor01=172.18.0.7:6789/0,stor02=172.18.0.17:6789/0,stor03=172.18.0.27:6789/0}, election epoch 36, leader 0 stor01, quorum 0,1,2 stor01,stor02,stor03

# 或

# ceph mon dump
dumped monmap epoch 1
epoch 1
fsid 23af67b8-235b-48f2-8dfe-8b52370a7419
last_changed 2022-11-19 20:52:37.402539
created 2022-11-19 20:52:37.402539
0: 172.18.0.7:6789/0 mon.stor01
1: 172.18.0.17:6789/0 mon.stor02
2: 172.18.0.27:6789/0 mon.stor03

显示仲裁状态

# ceph quorum_status --format json-pretty
# 或
# ceph quorum_status | jq .
{
  "election_epoch": 36,
  "quorum": [
    0,
    1,
    2
  ],
  "quorum_names": [
    "stor01",
    "stor02",
    "stor03"
  ],
  "quorum_leader_name": "stor01",
  "monmap": {
    "epoch": 1,
    "fsid": "23af67b8-235b-48f2-8dfe-8b52370a7419",
    "modified": "2022-11-19 20:52:37.402539",
    "created": "2022-11-19 20:52:37.402539",
    "features": {
      "persistent": [
        "kraken",
        "luminous",
        "mimic",
        "osdmap-prune"
      ],
      "optional": []
    },
    "mons": [
      {
        "rank": 0,
        "name": "stor01",
        "addr": "172.18.0.7:6789/0",
        "public_addr": "172.18.0.7:6789/0"
      },
      {
        "rank": 1,
        "name": "stor02",
        "addr": "172.18.0.17:6789/0",
        "public_addr": "172.18.0.17:6789/0"
      },
      {
        "rank": 2,
        "name": "stor03",
        "addr": "172.18.0.27:6789/0",
        "public_addr": "172.18.0.27:6789/0"
      }
    ]
  }
}

image

rbd命令可用于创建、查看及删除块设备相在的映像（image），以及克隆映像、创建快照、将映像回滚到快照和查看快照等管理操作

创建 image

需事先存在RDB的存储池

# 在rbddata存储池中，创建一个名为img1，大小为1G的image（每一个image就是一个块设备）
# rbd create img1 --size 1024 --pool rbddata

—

Socket

Ceph的管理套接字接口常用于查询守护进程
套接字默认保存于/var/run/ceph目录
此接口的使用不能以远程方式进程

# 命令的使用格式：
# ceph --admin-daemon /var/run/ceph/socket-name

# 获取使用帮助：
# ceph --admin-daemon /var/run/ceph/socket-name help

Keyring

前言

我们知道ceph作为一个分布式存储系统，用户想要在其上面存储数据，首先得通过认证以后，才能正常使用ceph；那么对于ceph来讲，它是怎么认证用户的呢？除了认证，我们知道不是所有用户都能在ceph上创建存储池，删除存储池等；这也意味着每个用户都有一定的权限，在自己的权限范围内操作，ceph才算得上是一个安全的存储系统；那么ceph的认证和授权到底是怎么做的呢？

Ceph X

https://docs.ceph.com/en/pacific/rados/configuration/auth-config-ref/?highlight=cephx#

cephx 协议是一种协议，Ceph 使用 cephx 协议对客户端进行身份认证；
cephx 用于对 ceph 保存的数据进行认证访问和授权，用于对访问 ceph 的请求进行认证和授权检测，与 mon 通信的请求都要经过 ceph 认证通过，但是也可以在 mon 节点关闭 cephx 认证，但是关闭认证之后任何访问都将被允许，因此无法保证数据的安全性。

Ceph X 认证流程

https://docs.ceph.com/en/pacific/architecture/#high-availability-authentication

每个 mon 节点都可以对客户端进行身份认证并分发秘钥，因此多个 mon 节点就不存在单点故障和认证性能瓶颈。
mon 节点会返回用于身份认证的数据结构，其中包含获取 ceph 服务时用到的 session key, session key 通过客户端秘钥进行加密
- 秘钥是在客户端提前配置好的，在类似于 /etc/ceph/ceph.client.admin.keyring 的keyring文件中；
客户端使用 session key 向 mon 请求所需要的服务，mon 向客户端提供一个 tiket，用于向实际处理数据的 OSD 等服务验证客户端身份，MON 和 OSD 共享同一个 secret，因此 OSD 会信任有 MON 发放的 tiket，且 tiket 存在有效期。

注意：

OSD、MON、MGR

OSD 概述

Object Storage Device 对象存储设备，简称OSD，必选组件
- 使用直接日志磁盘存储的对象存储设备（名为 BlueStore， [18]，自 v12.x 版本以来，它取代了使用文件系统的 FileStore [19] ）
OSD 将数据以对象的形式存储到集群中的每个节点的物理磁盘上；
每个OSD都包含POOL和PG；
OSD 负责存储数据、处理数据复制、恢复、回（Backfilling）、再平衡。完成存储数据的工作绝大多数是由 OSD daemon 进程实现。
在构建 Ceph OSD 的时候，建议采用 SSD 磁盘以及 xfs 文件系统来格式化分区。
OSD 还会对其它 OSD 进行心跳检测，并检测结果汇报给 Monitor。
冗余和高可用性通常需要至少三个 Ceph OSD。

相关守护进程：

ceph-osd，每个OSD都会有一个单独的守护进程以便于单独进行管理。

OSD 相关命名

打印 OSD 状态

# ceph osd stat
3 osds: 3 up, 3 in; epoch: e68

# 显示osd更详细的信息
# ceph osd dump
...

在CRUSH地图中的位置查看OSD

Ceph将列显CRUSH树及主机、它的OSD、OSD是否已启动及其权重

# ceph osd tree
ID CLASS WEIGHT  TYPE NAME       STATUS REWEIGHT PRI-AFF 
-1       0.58589 root default                            
-3       0.19530     host stor01                         
 0   hdd 0.19530         osd.0       up  1.00000 1.00000 
-5       0.19530     host stor02                         
 1   hdd 0.19530         osd.1       up  1.00000 1.00000 
-7       0.19530     host stor03                         
 2   hdd 0.19530         osd.2       up  1.00000 1.00000

MON

在 Ceph 中，mon 是指 Monitor，是一个用于维护 Ceph 集群状态的守护进程。每个 Ceph 集群都需要至少一个 Monitor，它们通常是在不同的物理或虚拟机器上运行的。Monitor 之间通过 Paxos 协议来达成共识，并维护 Ceph 的监视器映射、数据块位置信息、PG 到 OSD 映射等元数据信息。Monitors 还协调其他 Ceph 守护进程（例如 OSD 和 MDS）之间的通信。

POOL、PG、CRUSH

POOL 存储池

https://docs.ceph.com/en/latest/rados/operations/pools/#rados-pools

存储池概述

RADOS存储集群提供的基础存储服务需要由"存储池（pool）“分割为逻辑存储区域，此类的逻辑区域亦是对象数据的名称空间
实践中，管理员可以为特定应用程序存储不同类型数据的需求分别创建专用的存储池，例如rbd存储池、rgw存储池等，也可以为某个项目或某个用户创建专有的存储池
存储池还可以再进一步细分为一至多个名称空间（namespace）
客户端（包括rbd和rgw等）存取数据时，需要事先指定存储池名称、用户名和密钥等信息完成认证，而后将一直维持与其指定的存储池的连接，于是也可以把存储池看作是客户端的IO接口

存储池类型

副本池（replicated）

把每个对象在集群中存储为多个副本，其中存储于主OSD的为主副本，副本数量在创建存储池时由管理员指定；此为默认的存储池类型；

副本池 IO

将一个数据对象存储为多副本
写入操作时，Ceph客户端使用CRUSH算法来计算对象的PG ID和Primary OSD
主OSD根据设定的副本数、对象的名称、存储池名称和集群运行图（Cluster Map）计算出PG的各辅助OSD，而后由主OSD将数据同步给这些辅助OSD

纠删码池（erasure code）

把各对象存储为 N=K+M 个块，其中，K为数据块数量，M为编码块数量，因此存储池的尺寸为 K+M ；

纠删码池IO

纠删码是一种前向纠错（FEC）代码
- 通过将K块的数据转换为N块，假设N=K+M，则其中的M代表纠删码算法添加的额外或冗余的块数量以提供冗余机制（即编码块），而N则表示在纠删码编码之后要创建的块的总数，其可以故障的总块数为M（即N-K）个
- 类似于 RAID 5
纠删码池减少了确保数据持久性所需的磁盘空间量，但计算量上却比副本存储池要更贵一些
RGW可以使用纠删码存储池，但RBD不支持

举例：

例如，把包含数据“ABCDEFGHI”的对象NYAN保存到存储池中时，假设纠删码算法会将内容分割为三个数据块：第一个包含“ABC”，第二个为”DEF“，最后一个为”GHI“，并为这三个数据块额外创建两个编码块：第四个”YXY“和第五个”GQC“
在有着两个编码块配置的存储池中，它允许最多两个OSD不可用而不影响数据的可用性。假设，在某个时刻OSD 1和OSD 3因故无法正常响应客户端请求，这意味着客户端仅能读取到”ABC“、”DEF“和”QGC“，此时纠删编码算法会通过计算重那家出”GHI“和”YXY“

副本池和纠删码池对比

副本池更占用空间，但读性能更好
纠删码池占用空间较小，但读性能较差（因为需要更多的cpu进行计算）

存储池相关参数

存储池至少设置以下参数：

对象的所有权/访问权
归置组的数量
要使用的 CRUSH 规则（CRUSH 是一种算法，详情百度吧）

存储池相关命令

ceph 、rados 命令都可以对存储池进行管理，但rados命令更加底层。
存储的常用管理操作包括列出、创建、重命名和删除等操作，常用相关的工具都是 ceph osd pool 的子命令，包括ls、create、rename和rm等

创建存储池

创建副本型存储池

ceph osd pool create <poolname> <pg-num> [pgp-num] [replicated] [crush-rule-name] [expected-num-objects]
replicated 表示副本池，也是默认值，因此可不指定

范例：

# 创建一个名为mypool的存储池，设定其PG数量为16个
# ceph osd pool create mypool 16
pool 'mypool' created

创建纠删码型存储池

ceph osd pool create <poolname> <pg-num> [pgp-num] erasure [erasure-code-profile] [crush-rule-name] [expected-num-objects]
erasure 表示纠删码池，需显示指定

范例：

删码型存储池并不常用

上述选项说明

pool-name # 存储池名称，在一个RADOS存储集群上必须具有唯一性；

pg-num # 当前存储池中的PG数量，合理的PG数量对于存储池的数据分布及性能表现来说至关重要；

pgp-num # 用于归置的PG数量，其值应该等于PG的数量

replicated|erasure # 存储池类型；副本存储池需更多原始存储空间，但已实现Ceph支持的所有操作，而纠删码存储池所需原始存储空间较少，但目前仅实现了Ceph的部分操作

crush-ruleset-name # 此存储池所用的CRUSH规则集的名称，不过，引用的规则集必须事先存在

列出所有存储池

# ceph osd pool ls
mypool

# 更详细的信息
# ceph osd pool ls detail
pool 1 'mypool' replicated size 3 min_size 2 crush_rule 0 object_hash rjenkins pg_num 16 pgp_num 16 last_change 30 flags hashpspool stripe_width 0


---

# rados lspools
mypool

打印存储池状态

# 打印所有存储池的状态
# ceph osd pool stats
pool mypool id 1
  nothing is going on

pool rbddata id 2
  nothing is going on

pool .rgw.root id 3
  nothing is going on
...


# 打印指定存储池的状态
# ceph osd pool stats mypool
pool mypool id 1
  nothing is going on

查看存储池用量

# ceph df
GLOBAL: # 存储量概览
        # SIZE ：集群的整体存储容量
        # AVAIL ：集群中可以使用的可用空间容量
        # RAW USED ：已用的原始存储量
        # % RAW USED ：已用的原始存储量百分比。将此数字与 full ratio 和 near full ratio搭配使用，可确保您不会用完集群的容量
    SIZE        AVAIL       RAW USED     %RAW USED 
    600 GiB     597 GiB      3.0 GiB          0.50 
POOLS: # 存储池列表和每个存储池的理论用量，但出不反映副本、克隆数据或快照
    NAME                    ID     USED        %USED     MAX AVAIL     OBJECTS 
    mypool                  1          0 B         0       189 GiB           0 
    rbddata                 2        134 B         0       189 GiB           5 
    .rgw.root               3      1.1 KiB         0       189 GiB           4 
    default.rgw.control     4          0 B         0       189 GiB           8 
    default.rgw.meta        5          0 B         0       189 GiB           0 
    default.rgw.log         6          0 B         0       189 GiB         175 
    cephfs-metadata         7      2.2 KiB         0       189 GiB          22 
    cephfs-data             8          0 B         0       189 GiB           0


# 更详细的信息
# ceph df detail
...

查看数据对象

# 获取到存储池中数据对象的具体位置信息
# ceph osd map mypool issue
osdmap e32 pool 'mypool' (1) object 'issue' -> pg 1.651f88da (1.a) -> up ([2,1,0], p2) acting ([2,1,0], p2)

向存储池上传数据对象

而后即可将测试文件上传至存储池中，例如下面的rados put命令将 /etc/issue 文件上传至mypool 存储池，对象名称依然保留为文件名 issue，而 rados ls命令则可以列出指定存储池中的数据对象。

Prometheus 监控 Ceph

参考文档

http://docs.ceph.com/docs/mimic/mgr/prometheus/

启用 prometheus 模块

Ceph Manager内置了众多模块，包括prometheus模块，⽤于直接输出Prometheus风格的指标数据。

# ceph mgr module enable prometheus


# ceph mgr module ls
{
    "enabled_modules": [
        "balancer",
        "crash",
        "dashboard",
        "iostat",
        "prometheus", # 验证
...


# 查看目前活跃的mgr节点
# ceph -s
...
  services:
    mon: 3 daemons, quorum stor01,stor02,stor03
    mgr: stor02(active), standbys: stor01
...


# 活跃的mgr位于stor02，即10.0.0.17，prometheus module默认会监听在9283端口
# curl 10.0.0.17:9283/metrics

# HELP ceph_paxos_store_state_latency_sum Storing state latency Total
# TYPE ceph_paxos_store_state_latency_sum counter
ceph_paxos_store_state_latency_sum{ceph_daemon="mon.stor03"} 22.663664887
ceph_paxos_store_state_latency_sum{ceph_daemon="mon.stor02"} 26.437775038
# HELP ceph_pg_incomplete PG incomplete
# TYPE ceph_pg_incomplete gauge
ceph_pg_incomplete{pool_id="4"} 0.0
ceph_pg_incomplete{pool_id="7"} 0.0
ceph_pg_incomplete{pool_id="6"} 0.0
ceph_pg_incomplete{pool_id="12"} 0.0
ceph_pg_incomplete{pool_id="3"} 0.0
ceph_pg_incomplete{pool_id="8"} 0.0
ceph_pg_incomplete{pool_id="5"} 0.0
...

配置 Prometheus Job

修改Prometheus的配置⽂件，添加与Ceph相关的Job。

# vim /usr/local/prometheus/prometheus.yml
...
scrape_configs:
...
  - job_name: "ceph"
    static_configs:
      - targets:
        - 10.0.0.17:9283

配置 Grafana

dashboard ID参考：2842

部署

环境说明

**OS：**Centos 7.6
**部署工具：**ceph-deploy
**Ceph版本：**version 13.2.10（mimic）

注意：

ceph-deploy 不再主动维护。它没有在比 Nautilus 更新的 Ceph 版本上进行测试。它不支持 RHEL8、CentOS 8 或更新的操作系统。

主机名 & 角色

注意：主机名必须与下面安装时设定的保持一致，否则初始MON节点的时候会报错

Hostname	IP	Role
	10.0.0.7	ceph-admin
stor01.azheng.com	10.0.0.7	storage、mon、osd、mgr、mds
stor02.azheng.com	10.0.0.17	storage、mon、osd、mgr
stor03.azheng.com	10.0.0.27	storage、mon、osd、rgw

网络

ceph 集群中通常需要包含两个网络：集群内部通信网络 & 外部公共通信网络
本次部署环境的网络规划为：
- 集群内部通信网络：10.0.0.0/24
  - 10.0.0.7、10.0.0.17、10.0.0.27
- 外部公共通信网络：172.18.0.0/16
  - 172.18.0.7、172.18.0.17、172.18.0.27

磁盘

每个节点都有一块100G的虚拟磁盘作为系统盘：/dev/sda
每个节点都有一块200G的虚拟磁盘作为OSD盘：/dev/sdb

先决条件

时间同步、关闭并禁用 SELinux、关闭 iptables & firewall、

DNS 配置

bind DNS，部署在10.0.0.8，系统为centos

# 安装bind DNS
# yum -y install bind bind-utils
# systemctl enable --now named.service


# 拷贝区域数据库文件
# cp -a /var/named/named.localhost /var/named/azheng.com.zone


# 编辑区域数据库文件
# vim /var/named/azheng.com.zone
$TTL 600
@ IN SOA ns1 mail.azheng.com. (
    2015042201;
    1H;
    10M;
    1D;
    12H;
)
            IN NS         ns1
ns1         IN A          10.0.0.8

ceph-admin  IN A          10.0.0.7
stor01      IN A          10.0.0.7
stor02      IN A          10.0.0.17
stor03      IN A          10.0.0.27




# 编辑主配置文件
# vim /etc/named.conf
options {
...
    listen-on port 53 { localhost; }; # 监听在本机所有网卡的53端口
    allow-query     { any; }; # 允许所有主机查询
...


# 子配置文件配置域名
# vim /etc/named.rfc1912.zones
...
zone "azheng.com" IN {
    type master;
    file "azheng.com.zone";
};


# 检查配置文件语法
# named-checkconf 


# 检查区域数据库的语法，第一个xiangzheng.org表示在配置文件中定义的名称，第三段表示区域数据库文件路径
# named-checkzone azheng.com /var/named/azheng.com.zone


# 语法无误后，重载bind DNS
# rndc reload
systemctl restart named.service

所有主机指向 DNS Server

centos

# 修改网卡配置文件（直接修改/etc/resolv.conf文件的话重启后会失效）
# vim /etc/sysconfig/network-scripts/ifcfg-eth0
...
DNS1=10.0.0.8
...


# 重载网卡配置
# nmcli connection reload
# nmcli connection up eth0


# 验证配置是否生效
# cat /etc/resolv.conf 
# Generated by NetworkManager
search azheng.com
nameserver 10.0.0.8


# 测试
# host ceph-admin.azheng.com;for i in {1..3};do host stor0${i}.azheng.com ; done
ceph-admin.azheng.com has address 10.0.0.7
stor01.azheng.com has address 10.0.0.7
stor02.azheng.com has address 10.0.0.17
stor03.azheng.com has address 10.0.0.27
# 简写:
# host ceph-admin ; for i in {1..3};do host stor0${i}; done
ceph-admin.azheng.com has address 10.0.0.7
stor01.azheng.com has address 10.0.0.7
stor02.azheng.com has address 10.0.0.17
stor03.azheng.com has address 10.0.0.27

Ubuntu

# 修改网卡配置文件（直接修改/etc/resolv.conf文件的话重启后会失效）
# vim /etc/netplan/00-installer-config.yaml
...
network:
  ethernets:
    eth0:
      addresses: [10.0.0.104/24]
      gateway4: 10.0.0.2
      nameservers:
              addresses: [10.0.0.8] # 指向DNS服务器
              search: []
  version: 2

...


# 重载网卡配置
# netplan apply


# 测试
# host ns1.azheng.com
ns1.azheng.com has address 10.0.0.8

准备 ceph 仓库

ceph 官方仓库：http://download.ceph.com/
ceph 阿里镜像仓库：https://mirrors.aliyun.com/ceph/
ceph 的版本按首字母顺序排名，例如：kraken、luminous、mimic等（首字母排序越靠后则版本越新）；
程序包位于相关版本的noarch目录下，例如：rpm-mimic/el7/noarch/ceph-release-1-1.el7.noarch.rpm，负责生成适用于部署mimic版本Ceph的yum仓库配置文件，因此直接在线安装此程序包，也能直接生成yum仓库的相关配置。

# 在ceph-admin节点安装
# rpm -ivh https://mirrors.aliyun.com/ceph/rpm-mimic/el7/noarch/ceph-release-1-1.el7.noarch.rpm


# 验证
# cat /etc/yum.repos.d/ceph.repo 
[Ceph]
name=Ceph packages for $basearch
baseurl=http://download.ceph.com/rpm-mimic/el7/$basearch
enabled=1
gpgcheck=1
type=rpm-md
...

准备 ceph 账号

在各节点创建 cephadm 账号

# 创建账号
# useradd cephadm


# 设置密码
# echo "azheng" | passwd --stdin cephadm

在各节点定义sudo权限，以确保这些节点上新创建的cephadm用户都有无密码运行sudo命令的权限。

# echo "cephadm ALL = (root) NOPASSWD:ALL" > /etc/sudoers.d/cephadm


# chmod 0440 /etc/sudoers.d/cephadm

配置 ssh 免密登录

ceph-deploy命令不支持运行中途的密码输入，因此，必须在管理节点（ceph-admin.azheng.com）上生成SSH密钥并将其公钥分发至Ceph集群的各节点上。

# 在ceph-admin节点上以cephadm用户的身份生成SSH密钥对
# su - cephadm
# ssh-keygen -t rsa -P ""
...


# 在ceph-admin节点上把公钥拷贝到各Ceph节点
# ssh-copy-id -i .ssh/id_rsa.pub cephadm@stor01.azheng.com
# ssh-copy-id -i .ssh/id_rsa.pub cephadm@stor02.azheng.com
# ssh-copy-id -i .ssh/id_rsa.pub cephadm@stor03.azheng.com

安装 ceph-deploy

在管理节点安装 ceph-deploy；
Ceph存储集群的部署的过程可通过管理节点使用ceph-deploy全程进行，这里首先在管理节点安装ceph-deploy及其依赖到的程序包，其中有些包来自epel源

sudo yum install -y ceph-deploy python-setuptools python2-subprocess32

部署 RADOS 存储集群

初始化 RADOS 存储集群

1

首先在管理节点上以cephadm用户创建集群相关的配置文件目录

# mkdir ceph-cluster

# cd ceph-cluster

2

初始化 Monitor 节点配置信息