ITPub博客

首页 > IT基础架构 > 服务器/存储 > ceph osd节点删除/添加

ceph osd节点删除/添加

原创 服务器/存储 作者:wang_0720 时间:2018-01-30 11:17:37 0 删除 编辑
在ceph中,数据是以PG为单位保存在osd中的,一般情况下一个osd会对应一块磁盘,在osd节点挂掉的情况下,如果osd数据盘没有损坏,可以利用osd数据盘对数据进行恢复
现在的情况如下所示,将osd2节点的osd.8和osd.9都停掉了,相当于osd2节点已经挂掉


集群的健康状况如下:




1 将osd.8,osd.9从crush中删除,并删除对应的osd,和auth,host
ceph osd crush rm osd.8 
ceph osd crush rm osd.9
ceph osd rm 8 
ceph osd rm 9
ceph auth del osd.8
ceph auth del osd.9
ceph osd crush rm osd2
将故障节点和osd从集群中删除后,新的集群如下图所示


2 新建osd2节点
并将数据盘挂载到新的osd2节点,并重建osd
2.1 挂载数据盘到临时目录
将数据盘挂载到/var/lib/ceph/osd/tmp/mnt目录下,目录不存在就新建一个
mkdir /var/lib/ceph/tmp/mnt
mount /dev/sdb1 /var/lib/ceph/tmp/mnt
读取/var/lib/ceph/tmp/mnt目录下的fsid,whoami文件,即该磁盘对应的osd的uuid和osd-num
cat fsid whoami 
f187533d-d3cd-4e40-8416-a93c9080876c
8
2.2 重建osd
读取到fsid,和osd-num后,可以利用这些信息重建osd,需要读取/etc/ceph.conf文件,保证这个文件存在并且和集群中的该文件保持一致
ceph  osd  create f187533d-d3cd-4e40-8416-a93c9080876c 8
如果出现如图所示的错误提示,说明没有找到keyring文件,这是集群之间的认证文件
2017-10-16 16:47:15.681089 7f84f1a80700 -1 auth: unable to find a keyring on /etc/ceph/ceph.client.admin.keyring,/etc/ceph/ceph.keyring,/etc/ceph/keyring,/etc/ceph/keyring.bin: (2) No such file or directory
2017-10-16 16:47:15.681315 7f84f1a80700 -1 monclient(hunting): ERROR: missing keyring, cannot use cephx for authentication
2017-10-16 16:47:15.681404 7f84f1a80700  0 librados: client.admin initialization error (2) No such file or directory
Error connecting to cluster: ObjectNotFound


可以从集群的其他节点(主节点的/etc/ceph目录下)上将该文件复制一份过来,放到/etc/ceph目录下
scp ceph.client.admin.keyring osd2:/etc/ceph
再次创建osd
ceph  osd  create f187533d-d3cd-4e40-8416-a93c9080876c 8
返回8说明创建成功
新建osd挂载点
mkdir /var/lib/ceph/osd/ceph-8
卸载临时挂载目录
umount /var/lib/ceph/tmp/mnt
挂载数据盘到osd目录
mount /dev/sdb1 /var/lib/ceph/osd/ceph-8
注册此 OSD 的密钥
ceph auth add osd.8 osd 'allow *' mon 'allow rwx' -i /var/lib/ceph/osd/ceph-8/keyring 
added key for osd.8
3 加入集群
将新的节点加入crushmap
ceph osd crush add-bucket osd2 host
将该接点放到default根下
ceph osd crush move osd2 root=default
osd加入crushmap
ceph osd crush add osd.8 0.00980 host=osd2
这里给osd.8 的权重是0.00980,该值和集群中其他osd保持已知,权重不一致可能会导致pg的状态一直处于unclean
现在osd已经在集群中了,加入集群的osd就可以接收数据了
root@mon1:/etc/ceph# ceph osd tree
ID WEIGHT  TYPE NAME     UP/DOWN REWEIGHT PRIMARY-AFFINITY 
-1 0.05878 root default                                    
-2 0.01959     host osd1                                   
 1 0.00980         osd.1      up  1.00000          1.00000 
 3 0.00980         osd.3      up  1.00000          1.00000 
-5 0.01959     host osd3                                   
 4 0.00980         osd.4      up  1.00000          1.00000 
 5 0.00980         osd.5      up  1.00000          1.00000 
-3 0.01959     host osd2                                   
 9 0.00980         osd.9      up  1.00000          1.00000 
 8 0.00980         osd.8    down        0          1.00000 


现在osd.8还处于down状态,因为osd.8的进程还没有启动
启动进程
systemctl start ceph-osd@8
现在集群的健康状况和osd分布状况,如下图




上图所示,说明osd节点恢复成功。

来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/27181165/viewspace-2150647/,如需转载,请注明出处,否则将追究法律责任。

下一篇: kubernetes挂载cephfs
请登录后发表评论 登录
全部评论

注册时间:2013-11-05

  • 博文量
    111
  • 访问量
    908965