专栏
天翼云开发者社区

集群部署(二)---加入osd和rgw

2024-04-11 09:23:12 2阅读

一、加入osd:
start_osd_id=0
磁盘sdb未被格式化,开始执行ceph-volume动作
1、执行命令:sudo /usr/sbin/wipefs -a /dev/sdb     //清除/dev/sdb上的所有数据
2、执行命令:sudo /usr/sbin/vgcreate --force --yes ceph-osd-0-vg /dev/sdb
3、执行命令:sudo /usr/sbin/lvcreate --yes -l 100%FREE -n osd-0-data ceph-osd-0-vg(这命令是整块盘都建成lv。建第二块) (或者按大小建lv: /usr/sbin/lvcreate -L 20G -n osd-0-data ceph-osd-0-vg,此方法是按一个vg,多个lv的方式建osd,比如在一块盘上建多个osd。建第二块盘时重复步骤3-7)
4、执行命令:uuidgen
5、执行命令:/usr/sbin/ceph-volume --cluster ceph lvm prepare --bluestore --data ceph-osd-0-vg/osd-0-data --osd-fsid ee699913-5c27-4e5e-9bd4-dd30fa340182(uuidgen生成的值)
6、执行命令:/usr/sbin/ceph-volume lvm activate 0(osdid) ee699913-5c27-4e5e-9bd4-dd30fa340182
7、执行命令:/usr/bin/ceph osd crush add osd.0 1.0(权重) host=`hostname -s`(是主机名,同时也是mon initial members的值)
创建osd-id=0的OSD进程完成,对应磁盘为:ceph-osd-0-vg/osd-0-data
    sudo /usr/sbin/vgcreate --force --yes ceph-osd-$2-vg /dev/$1
    sudo /usr/sbin/lvcreate --yes -l 100%FREE -n osd-$2-data ceph-osd-$2-vg
 
    sudo /usr/sbin/ceph-volume --cluster ceph lvm prepare --bluestore --data ceph-osd-$2-vg/osd-$2-data --osd-id $2 --osd-fsid $3
    sudo /usr/sbin/ceph-volume lvm activate $2 $3
    sudo /usr/bin/ceph osd crush add osd.$2 $disk_size host=`hostname -s`
}
 
 
二、ceph -s在集群pg为active+clean的状态下部署rgw。步骤如下(不需要提前写ceph.conf):
# 创建数据目录
sudo mkdir -p /var/lib/ceph/radosgw/ceph-rgw.`hostname`/
# 调整属主
sudo chown ceph.ceph -R /var/lib/ceph/radosgw/ceph-rgw.`hostname`/
# 创建该rgw密钥
sudo ceph-authtool --create-keyring /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring
# 调整属主
sudo chown ceph.ceph /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring
# 生成密钥
sudo ceph-authtool /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring -n client.rgw.`hostname` --gen-key
# 密钥赋权
sudo ceph-authtool -n client.rgw.`hostname` --cap osd 'allow rwx' --cap mon 'allow rwx' /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring
sudo ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.rgw.`hostname` -i /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring
# 重启服务
sudo systemctl enable ceph-radosgw@rgw.`hostname`.service
sudo systemctl start ceph-radosgw@rgw.`hostname`.service
 
需要注意ceph -s集群的状态是健康的,不然会导致启动rgw失败。还有单机节点需要注意修改crush规则里的故障域为osd,默认是host,会导致pgs inactive和undersized+peered。
  • 0
  • 0
  • 0
0 评论
0/1000
评论(0) 发表评论
flora

flora

10 篇文章 0 粉丝
关注

集群部署(二)---加入osd和rgw

2024-04-11 09:23:12 2阅读

一、加入osd:
start_osd_id=0
磁盘sdb未被格式化,开始执行ceph-volume动作
1、执行命令:sudo /usr/sbin/wipefs -a /dev/sdb     //清除/dev/sdb上的所有数据
2、执行命令:sudo /usr/sbin/vgcreate --force --yes ceph-osd-0-vg /dev/sdb
3、执行命令:sudo /usr/sbin/lvcreate --yes -l 100%FREE -n osd-0-data ceph-osd-0-vg(这命令是整块盘都建成lv。建第二块) (或者按大小建lv: /usr/sbin/lvcreate -L 20G -n osd-0-data ceph-osd-0-vg,此方法是按一个vg,多个lv的方式建osd,比如在一块盘上建多个osd。建第二块盘时重复步骤3-7)
4、执行命令:uuidgen
5、执行命令:/usr/sbin/ceph-volume --cluster ceph lvm prepare --bluestore --data ceph-osd-0-vg/osd-0-data --osd-fsid ee699913-5c27-4e5e-9bd4-dd30fa340182(uuidgen生成的值)
6、执行命令:/usr/sbin/ceph-volume lvm activate 0(osdid) ee699913-5c27-4e5e-9bd4-dd30fa340182
7、执行命令:/usr/bin/ceph osd crush add osd.0 1.0(权重) host=`hostname -s`(是主机名,同时也是mon initial members的值)
创建osd-id=0的OSD进程完成,对应磁盘为:ceph-osd-0-vg/osd-0-data
    sudo /usr/sbin/vgcreate --force --yes ceph-osd-$2-vg /dev/$1
    sudo /usr/sbin/lvcreate --yes -l 100%FREE -n osd-$2-data ceph-osd-$2-vg
 
    sudo /usr/sbin/ceph-volume --cluster ceph lvm prepare --bluestore --data ceph-osd-$2-vg/osd-$2-data --osd-id $2 --osd-fsid $3
    sudo /usr/sbin/ceph-volume lvm activate $2 $3
    sudo /usr/bin/ceph osd crush add osd.$2 $disk_size host=`hostname -s`
}
 
 
二、ceph -s在集群pg为active+clean的状态下部署rgw。步骤如下(不需要提前写ceph.conf):
# 创建数据目录
sudo mkdir -p /var/lib/ceph/radosgw/ceph-rgw.`hostname`/
# 调整属主
sudo chown ceph.ceph -R /var/lib/ceph/radosgw/ceph-rgw.`hostname`/
# 创建该rgw密钥
sudo ceph-authtool --create-keyring /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring
# 调整属主
sudo chown ceph.ceph /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring
# 生成密钥
sudo ceph-authtool /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring -n client.rgw.`hostname` --gen-key
# 密钥赋权
sudo ceph-authtool -n client.rgw.`hostname` --cap osd 'allow rwx' --cap mon 'allow rwx' /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring
sudo ceph -k /etc/ceph/ceph.client.admin.keyring auth add client.rgw.`hostname` -i /var/lib/ceph/radosgw/ceph-rgw.`hostname`/keyring
# 重启服务
sudo systemctl enable ceph-radosgw@rgw.`hostname`.service
sudo systemctl start ceph-radosgw@rgw.`hostname`.service
 
需要注意ceph -s集群的状态是健康的,不然会导致启动rgw失败。还有单机节点需要注意修改crush规则里的故障域为osd,默认是host,会导致pgs inactive和undersized+peered。
文章来自专栏

ceph基础

10 篇文章 1 订阅
0 评论
0/1000
评论(0) 发表评论
  • 0
    点赞
  • 0
    收藏
  • 0
    评论