导入第三方云厂商日志服务数据
更新时间 2025-12-29 12:00:06
最近更新时间: 2025-12-29 12:00:06
本文介绍如何将第三方云厂商(如阿里云、腾讯云、华为云)日志服务的日志数据迁移至天翼云日志服务中。整体上是将第三方云厂商的日志数据,以对象存储的方式迁移到天翼云中,再通过天翼云云日志服务的对象存储导入功能,将日志数据导入至天翼云中。
准备工作
已在天翼云日志服务中创建目标日志项目与日志单元。
已在第三方云厂商的对象存储中创建一个独立的bucket。
已开通天翼云对象存储并创建一个独立的bucke。
操作步骤
登录第三方云厂商日志服务控制台。
通过第三方云厂商提供的日志转储功能,将日志数据以JSON格式一次性转储到第三方厂商的对象存储bucket中(上述准备工作中所创建的bucket)。具体操作请参考第三方厂商关于日志转储的文档说明。
注意
通过配置文件个数或攒批大小,以确保每个文件不超过1GB。
将第二步中的bucket,从第三方云厂商迁移到天翼云的对象存储指定bucket中(上述准备工作中所创建的bucket),可参考以帮助文档:使用对象存储迁移服务将第三方云厂商数据迁移至对象存储ZOS。
对象存储数据迁移完成后,登录天翼云日志服务控制台。
点击左侧“日志接入”惨淡,选择对象存储导入。
选择日志存储目标(上述准备工作中所创建的日志项目与日志单元)。
在导入配置流程中,根据页面指引完成导入配置,可参考以下参数说明。
参数 说明 接入配置名称 导入任务的唯一标识 ZOS存储桶 选择第三步中的天翼云对象存储bucket 文件路径前缀过滤 此处可不填写。
文件路径正则过滤 此处可不填写。 文件修改时间过滤
选择所有。
压缩格式 选择gzip格式。 检查新文件周期 选择永不检查
文件编码 选择默认UTF-8。
数据格式 选择JSON
在索引配置流程中,根据查询需要配置索引字段。如索引字段较多,可以使用【批量解析json字段】,将日志样例复制进去,可以快速添加索引。
最后等待一段时间后即可完成导入,也可以在接入配置中查看导入的情况。