您现在的位置是：首页 > 经验记录>服务器相关>ceph三节点基本服务搭建 网站首页 服务器相关

已备好：

一、三台物理服务器

二、每台服务器ssd256*2做raid1，用来做系统盘

三、每台服务器12块6T分别做raid0

四、物理服务器每台两根万兆网线并已分配静态IP（1.13/3.13   1.14/3.14   1.15/3.15）

五、ssh允许/防火墙关闭

六、设置时区为亚洲/上海(timedatectl set-timezone Asia/Shanghai)

七、安装wget (yum -y install wget)

说明：

       一、除未单独提出备注的，文档中所有操作每台服务器都要进行

服务搭建

一、分别修改主机名

#hostnamectl set-hostname ceph113

#hostnamectl set-hostname ceph114

#hostnamectl set-hostname ceph115

（1.13服务器主机名称修改图）

二、配置hosts（每台都配置上三个，截图中只有两个是错的）

# vi /etc/hosts

    172.16.1.13 ceph13

172.16.1.14 ceph14

172.16.1.15 ceph15 

三、配置NTP服务

    #yum -y install ntpdate ntp

#ntpdate cn.ntp.org.cn  //也可以用其他的，比如阿里云的

#hwclock -w   //将系统时间同步到硬件时间

#cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime   //时区同步|报是同一个文件是正常的，不管

#systemctl restart ntpd ntpdate && systemctl enable ntpd ntpdate

3.1、加入到crontab，一小时校验一次

    #vi /etc/crontab

    添加[* */1 * * * ntpdate cn.ntp.org.cn]

四、配置rpm

   4.1、wget -O /etc/yum.repos.d/ceph.repo https://raw.githubusercontent.com/aishangwei/ceph-demo/master/ceph-deploy/ceph.repo 

五、关闭selinux

5.1、#vim /etc/selinux/config

5.2、添加/修改 selinux=disabled

六、创建部署用户

    #vim /openrc   //编辑一个文本记一下要设置的变量/免得以后搞忘了

       export username="ceph-admin"

export passwd="ceph-admin"

export node1="ceph113"

export node2="ceph114"

export node3="ceph115"

export node1_ip="172.16.1.13"

export node2_ip="172.16.1.14"

export node3_ip="172.16.1.15"

       //记好后保存退出

    #export username="ceph-admin"   //写入变量，把记下来的这些变量依次执行写入

              ……………………..

    # export node3_ip="172.16.1.15"

#useradd  ${username}       //创建ceph-admin用户，用于集群部署

#echo "${passwd}"  | passwd --stdin ${username}

#echo "${username} ALL = (root) NOPASSWD:ALL"  | sudo tee /etc/sudoers.d/ceph-admin             //设置ceph-admin执行特殊命令时的sudo权限

#chmod 0440  /etc/sudoers.d/ceph-admin   更该文件权限

#sed -i 's/Default requiretty/#Default requiretty/' /etc/sudoers  //配置sudo不需要tty

七、ssh免密码登录以及三个节点配置免密钥登录(就在主节点执行这一步,另外两个不用)

记录(不用管)：

    SHA256:fSGy4hxo5PgwhPp8uLPNtVV3qedFmQIvsYM3KQSG7yU ceph-admin@ceph113

1. #su - ceph-admin          //切换用户

#ssh-keygen                      //key生成，直接回车(3次)

1. #ssh-copy-id ceph-admin@ceph113     //中间会输一次密码(ceph-admin)

2. #ssh-copy-id ceph-admin@ceph114     //中间会输一次密码(ceph-admin)

3. #ssh-copy-id ceph-admin@ceph115     //中间会输一次密码(ceph-admin)

节点开始安装[ceph-deploy  epel-release python-pip][未做特殊说明的,以下操作只在主节点上进行]

1.    //安装ceph-deploy

2. # yum install -y ceph-deploy  epel-release python-pip

3. mkdir  my-cluster      //创建安装目录

4. cd my-cluster

5. 进行节点部署

#ceph-deploy new ceph113 ceph114 ceph115    //这里务必要保证三台主机的网络是互通的，安装完之后my-cluster目录下面会生成三个文件

如果报错:

  先执行 # sudo yum install python-setuptools  //然后再重复第10点

6. #ls

7. 编辑ceph.conf配置文件，在最后添加一下信息

8. sudo vim  ~/my-cluster/ceph.conf

9. public network = 172.16.1.0/24

10.   cluster network = 172.16.3.0/24

11.   安装ceph包

12.   yum install -y epel-release  ceph ceph-radosgw //三个节点上都要安装

13.   配置初始的monitor并收集所有密钥：

14.   ceph-deploy mon create-initial

15.   把配置信息拷贝到各节点

16.   ceph-deploy admin ceph113 ceph114 ceph115

17.   配置osd

18.   使用for循环语句执行（也可以写到文本中做成脚本执行）

19.   for dev in /dev/sdb  /dev/sdc /dev/sdd         //注意磁盘名称，可以使用lsblk命令进行查看

20.   do

21.           ceph-deploy disk zap ceph113 $dev

22.           ceph-deploy osd create ceph113 --data  $dev

23.           ceph-deploy disk zap ceph114 $dev

24.           ceph-deploy osd create ceph114 --data  $dev

25.           ceph-deploy disk zap ceph115 $dev

26.           ceph-deploy osd create ceph115 --data  $dev

27.   done

28.   配置完OSD之后，部署mgr用于监控整个集群

29.   ceph-deploy mgr create ceph113 ceph114 ceph115

30.   开启dashboard模块，启用浏览器界面

31.   在开启dashboard模块之前要注意，因为我们是使用ceph-admin一般用户进行安装，所有无法调用/etc/ceph/下面的文件，将/etc/ceph目录下面的文件属主属组全部更改为ceph-admin

32.   sudo chown -R ceph-admin /etc/ceph

33.   然后加载dashboard模块

34.   ceph mgr module enable dashboard

35.   加载完模块之后查看7000号端口号是否正常监听

36.   ss -ntl

37.   打开浏览器输入172.16.1.13:7000查看ceph存储集群整体状况

备注：

#删除节点残存配置以便重新安装

sudo rm -rf /etc/ceph/*

sudo rm -rf /var/lib/ceph/*

sudo rm -rf /var/log/ceph/*

sudo rm -rf /var/run/ceph/*

ceph的卸载：

https://www.cnblogs.com/nulige/articles/8475907.html