searchusermenu
  • 发布文章
  • 消息中心
点赞
收藏
评论
分享
原创

ceph对象存储bilog简介

2023-10-08 08:18:56
122
0

为了提升list对象操作的效率,rgw 使用了Bucket Index。为了避免 Bucket Index 成为性能瓶颈,rgw将bucket划分成了多个BucketShard。这个划分的数量由ceph.conf中的rgw_override_bucket_index_max_shards参数进行控制,为适应业务增长,提升单桶对象数上限在zos中其值默认为2048。

当zonegroup参数log_data为true时,在桶中发生对象上传、删除等数据变化时,会产生一条bilog(Bucket Index Log),每个Bucket Shard内都有一个bilog,用以记录该Bucket Shard内对象的变化。

zonegroup参数可以通过以下命令获取:

radosgw-admin zonegroup get

当集群状态启用log_data选项为true时,在将对象上传到存储桶时,系统将会将存储桶的写入键值对信息到index object的omap中。bilog中还包含了当前请求的操作类型和对象名称。bilog可以通过以下命令实时获取:

radosgw-admin bilog list --bucket=<bucketname> 

bilog是支撑多集群数据同步的基础,远端通过监测bilog的变化来实现观测本端的数据变化,从而进行同步。

bilog会自动清理,但当清理不及时或系统出现问题时其未及时清理造成omap过大影响集群整体性能时,可以通过一下命令进行手动清理:

radosgw-admin bilog trim --bucket=<bucketname> 

0条评论
作者已关闭评论
w****n
2文章数
0粉丝数
w****n
2 文章 | 0 粉丝
w****n
2文章数
0粉丝数
w****n
2 文章 | 0 粉丝
原创

ceph对象存储bilog简介

2023-10-08 08:18:56
122
0

为了提升list对象操作的效率,rgw 使用了Bucket Index。为了避免 Bucket Index 成为性能瓶颈,rgw将bucket划分成了多个BucketShard。这个划分的数量由ceph.conf中的rgw_override_bucket_index_max_shards参数进行控制,为适应业务增长,提升单桶对象数上限在zos中其值默认为2048。

当zonegroup参数log_data为true时,在桶中发生对象上传、删除等数据变化时,会产生一条bilog(Bucket Index Log),每个Bucket Shard内都有一个bilog,用以记录该Bucket Shard内对象的变化。

zonegroup参数可以通过以下命令获取:

radosgw-admin zonegroup get

当集群状态启用log_data选项为true时,在将对象上传到存储桶时,系统将会将存储桶的写入键值对信息到index object的omap中。bilog中还包含了当前请求的操作类型和对象名称。bilog可以通过以下命令实时获取:

radosgw-admin bilog list --bucket=<bucketname> 

bilog是支撑多集群数据同步的基础,远端通过监测bilog的变化来实现观测本端的数据变化,从而进行同步。

bilog会自动清理,但当清理不及时或系统出现问题时其未及时清理造成omap过大影响集群整体性能时,可以通过一下命令进行手动清理:

radosgw-admin bilog trim --bucket=<bucketname> 

文章来自个人专栏
文章 | 订阅
0条评论
作者已关闭评论
作者已关闭评论
0
0