Centos7的配置方法找了很多，也尝试了好多次，发现每一家的方法都有残缺，最后自己汇总一下
- 我的环境
两台机器，一台做admin，一台做storage
都安装好了centos7并配置了IP保证两台机器间可以互相ping通
- 两个节点上都要执行的命令
安装NTP client同步时间
yum -y install ntpdate ntpdate time.windows.com
配置hosts，后以简化后面的命令
echo "10.4.10.233 storage">> /etc/hosts #for storage echo "10.4.10.234 admin">> /etc/hosts #for admin
修改hostname为对应的节点名字,centos7比较方便，直接改/etc/hostname就可以了，改好后需重新login
vi /etc/hostname
禁用 SELINUX
setenforce 0 sed -i s'/SELINUX.*=.*enforcing/SELINUX=disabled'/g /etc/selinux/config
允许防火墙ceph对应端口
firewall-cmd --zone=public --add-port=6789/tcp --permanent firewall-cmd --zone=public --add-port=6800-7100/tcp --permanent firewall-cmd --reload
#也可以关闭防火墙
systemctl stop firewalld.service
添加ceph用户
useradd -m ceph passwd ceph #Set password for ceph user
赋予ceph sudoer权限，用visudo命令在最尾处添加如下内容
Defaults:ceph !requiretty #To be able to run commands as superuser without tty ceph ALL=(ALL) NOPASSWD:ALL #Allow this user to run commands as superuser without password
- 在admin节点上用root账号执行以下命令
添加YUM源
rpm -Uhv http://ceph.com/rpm-giant/el7/noarch/ceph-release-1-0.el7.noarch.rpm
更新系统并安装ceph-deploy工具
yum update -y && yum install ceph-deploy -y
- 在admin节点上用ceph账号执行以下命令
创建并复制SSH KEY允许其它节点直接访问
ssh-keygen -t rsa -P '' ssh-keygen -t rsa -f .ssh/id_rsa -P '' ssh-copy-id ceph@storage
修改~/.ssh/config，添加以下信息，用以指定SSH连接storage节点时使用ceph用户，注意这个文件的权限需要为600
Host storage Hostname storage User ceph
创建临时目录，用以存放ceph配置过程的临时文件，这个目录名可以随意
mkdir ~/ceph-cluster && cd ~/ceph-cluster
初始化ceph配置
ceph-deploy new storage
执行完上面的命令后，当前所以目录中会生成一些文件，编辑其中的ceph.conf，并在尾部添加以下内容，以允许外网访问
osd pool default size = 1 public network = 10.4.10.0/24
安装ceph，ceph-deploy会自动在指定的节点上安装，这个命令只需在admin节点上执行一次即可
ceph-deploy install admin storage
初始化monitor
ceph-deploy mon create-initial
同步storage节点的Key
ceph-deploy gatherkeys storage
#查看当前系统中的磁盘，为安装成功，请先删数据库上的分区
ceph-deploy disk list storage
当这个命令看到/dev/sdc unknown等字样时就可以了
初始化数据盘
ceph-deploy disk zap storage:sdb ceph-deploy disk zap storage:sdc
准备OSD存储设备
ceph-deploy osd prepare storage:sdc:/dev/sdb
这个代表sdc是数据盘，sdb做为sdc的journal盘
当然你也可以执行
ceph-deploy osd prepare storage:sdc
这样的话，sdc会指定自己为自己的journal盘，但这样会严重影响性能
激活osd
ceph-deploy osd activate storage:/dev/sdc1:/dev/sdb1
分发配置信息到各节点
ceph-deploy admin admin storage
该命中会把配置文件复制到/etc/ceph目录下
设置正确的权限
sudo chmod +r /etc/ceph/ceph.client.admin.keyring
创建mds
ceph-deploy mds create storage
查看状态
ceph -s
没有出现
HEALTH_ERROR就OK了
一般为HELTH_OK
- 配置对象存储
创建数据池，poolname可以自行指定
ceph osd pool create poolname 128
就这么简单，测试一下
#PUT echo "I am YQ:)" > test.txt rados put test test.txt --pool=poolname #LS rados ls --pool=poolname #GET rm testfile.txt rados get --pool=poolname testfile testfile.txt cat testfile.txt #REMOVE rados rm testfile --pool=poolname
#如何删除pool呢？
ceph osd pool delete poolname poolname --yes-i-really-really-mean-it
- 配置cephfs
对于cephfs，也需要做一些创建工作，不然直接mount当前状态的ceph会报error=5 input/output error
创建两个数据池，分别作为cephfs的一般数据池和元数据池
ceph osd pool create cephfs_data 128 ceph osd pool create cephfs_metadata 128
创建cephfs
ceph fs new cephfs cephfs_metadata cephfs_data
查看各状态
ceph mds stat
显示e5: 1/1/1 up {0=storage=up:active}
ceph -s
cluster c89d8b75-0ade-499d-b472-923a6d5671af
health HEALTH_WARN
too many PGs per OSD (448 > max 300)
monmap e1: 1 mons at {storage=10.4.10.233:6789/0}
election epoch 1, quorum 0 storage
mdsmap e5: 1/1/1 up {0=storage=up:active}
osdmap e18: 1 osds: 1 up, 1 in
pgmap v37: 448 pgs, 4 pools, 1978 bytes data, 21 objects
37444 kB used, 1862 GB / 1862 GB avail
448 active+clean
client io 546 B/s wr, 2 op/s
ceph osd tree
ID WEIGHT TYPE NAME UP/DOWN REWEIGHT PRIMARY-AFFINITY
-1 1.81999 root default
-2 1.81999 host storage
0 1.81999 osd.0 up 1.00000 1.00000
ssh-keygen -t rsa -P ”
ssh-keygen -t rsa -f .ssh/id_rsa -P ”
这时任何一台支持cephfs的客户端机器就可以通过以下命令mount这个cephfs,
mkdir /mnt/cephfs mount -t ceph storage:6789:/ /mnt/cephfs -o name=admin,secret=AQABV4BVkn66AhAAdvNPjWuf9o1IZSYKMelT6Q==
secret的值取自/etc/ceph/ceph.client.admin.keyring
原生的centos7 kernel并没有打开cephfs，需要重编
但如果你想直接在某个节点上进行mount测试的话还是比较方便的，由于我们前面安装ceph时会下载kernel只需grub2-set-default 0再重启系统即会使用新的kernel该kernel默认打开了cephf