什么是ceph

Ceph 是一个分布式存储系统，主要用于提供高可用性、高性能和高扩展性的存储解决方案。它通过对象存储、块存储和文件系统等多种方式来满足不同的存储需求，常用于云计算、容器化环境以及大数据存储。

1.1、准备工作

机器编号 主机名 IP

1 ceph01 192.168.1.211

2 ceph02 192.168.1.212

3 ceph03192.168.1.213

系统版本：RockyLinux 8.10

1.2

设置每台服务器的hostname

hostnamectl set-hostname ceph-01

hostnamectl set-hostname ceph-02

hostnamectl set-hostname ceph-03

1.3

关闭selinux、firewalld，配置hostname以及/etc/hosts

systemctl stop firewalld

systemctl disable firewalld

setenforce 0

sed -i 's#SELINUX=enforcing#SELINUX=disabled#g' /etc/sysconfig/selinux

vi /etc/hosts

cat /etc/hosts

192.168.1.211 ceph-01

192.168.1.212 ceph-02

192.168.1.213 ceph-03

为每一台机器都准备至少一块单独的磁盘（这里我使用的xenserver部署的虚拟机搭建的），不需要格式化。

所有机器安装时间同步服务chrony

更新系统并安装必要的软件包

在所有节点上执行：

dnf update -y

dnf install -y chrony vim wget

systemctl enable --now chronyd

2.安装 Ceph

2.1 安装 Ceph 部署工具

安装ceph库

dnf install -y https://download.ceph.com/rpm-quincy/el8/noarch/ceph-release-1-1.el8.noarch.rpm

dnf install -y epel-release

dnf install -y cephadm

cephadm add-repo --release quincy

dnf install -y ceph-common

2.2 初始化 Ceph

在主节点（例如 ceph-node1）上执行：创建监视器

cephadm bootstrap --mon-ip IP_Node1  主节点的IP地址

安装完成好后，会生成网页访问的链接

URL: https://ceph-01:8443/

User: admin

Password: yrqg33triu

3. 1配置主节点的秘钥，并把秘钥复制到另外的两个节点

ssh-keygen

ssh-copy-id ceph-01

ssh-copy-id ceph-02

ssh-copy-id ceph-03

3.2

生成 cpeh 的  ssh密钥对儿

ceph cephadm get-pub-key > ~/ceph.pub

cephadm install ceph-common

将秘钥复制到另外的节点

ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-01

ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-02

ssh-copy-id -f -i /etc/ceph/ceph.pub root@ceph-03

配置 Ceph 集群  创建 mon 和 mgr

4.1 添加其他节点

在主节点上，使用以下命令将其他两个节点加入集群： 也可以使用网页进行添加。

ceph orch host add ceph-01

ceph orch host add ceph-02

ceph orch host add ceph-03

以上节点都已经添加到集群中

如果执行提示python3 和 podman 错误，请在另外节点上安装所需环境包

python3dnf install python3

dnf install -y podman

现在安装mon 和mgr

ceph 集群默认会允许存在5个 mon 和2个 mgr，可以使用 ceph orch apply 手动修改

ceph orch apply mon --placement="3 ceph-01 ceph-02 ceph-03"

ceph orch apply mgr --placement="3 ceph-01 ceph-02 ceph-03"

5 创建OSD

查看新加盘的名称

并执行添加osd ，也可以通过网页进行添加

ceph orch daemon add osd ceph-01:/dev/xvdb

ceph orch daemon add osd ceph-02:/dev/xvdb

ceph orch daemon add osd ceph-03:/dev/xvdb

查看集群状态

ceph -s

接下来我们就可以创建存储池了。

以下是网页展示创建ceph的存储池

命令操作

确保 Ceph 集群启动并健康后，让我们创建一个新的 Ceph 池

ceph osd pool create pool01 64 replicated

ceph osd pool set pool01 size 3   3代表的是ceph存储数据的副本数量

rbd pool init pool01  初始化池

后面详细的操作可以查看官文档

https://docs.ceph.com/en/latest/