支持将对象存储服务桶内的文件一次性或定期导入到云日志服务,OBS服务接入LTS成功后,即可对日志进行搜索分析、日志加工等操作。
加密桶的文件不支持导入LTS,若需要导入加密桶的文件,请先删除桶的加密配置。
使用OBS日志文件导入LTS功能非实时性管道,不适用实时性要求较高的业务场景。
设置单个对象存储OBS接入LTS
登录管理控制台,选择“管理与部署 > 云日志服务 LTS”,进入“日志管理”页面。
在左侧导航栏中,选择“日志接入 > 接入中心”,单击“云服务接入-对象存储OBS”进行OBS接入配置。或在左侧导航栏中,选择“日志接入 > 接入管理”,单击“创建”,在弹出的页面中,选择“云服务接入-对象存储OBS”进行OBS接入配置。
单击“所属日志组”后的目标框,在下拉列表中选择具体的日志组。若没有所需的日志组,单击“所属日志组”目标框后的“新建”,在弹出的创建日志组页面创建新的日志组。详细请参考管理日志组。
单击“所属日志流”后的目标框,在下拉列表中选择具体的日志流。若没有所需的日志流,单击“所属日志流”目标框后的“新建”,在弹出的创建日志流页面创建新的日志流。详细请参考管理日志流。
单击“下一步:采集配置”。
在采集配置页面,参考下表设置参数。
表 采集配置
| 参数类型 | 名称 | 说明 |
|---|---|---|
| 基本配置 | 采集配置名称 | 自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。 |
| 任务监控 | 默认开启。 开启后会将每次任务执行状态写入日志流lts-system/lts-obs2lts-statistics,您可以查看OBS文件导入LTS任务监控中心或者配置告警规则,及时发现数据导入过程中可能出现的异常问题。 | |
| OBS数据源配置 | OBS桶 | 选择需要导入日志文件到LTS的OBS桶。 |
| 文件夹前缀 | 输入待导入的OBS文件前缀,用于准确定位待导入的文件,支持输入文件前缀your_prefix/或完整路径your_prefix/file.gz。 只支持导入5GB(单个文件)以内的原始文件,且只能串行导入。 您可以参考如下方法获取日志的文件夹前缀:
| |
| 文件正则过滤 | 用于过滤文件的正则表达式,只有文件名匹配该正则表达式的文件才会被导入。若不填写正则表达式,表示不过滤文件。 假设目录下有aab和aba文件:
| |
| 压缩格式 | 支持自动检测、不压缩、压缩gzip、压缩zip、压缩snappy。如果是zip压缩文件,只能包含一个文件,不能有任何文件夹。 | |
| 导入间隔 |
开启“解冻归档文件”:只支持解冻对象存储类别为归档存储的OBS文件。归档存储文件需要激活此选项,归档存储文件激活需要一定时间,归档存储文件加急恢复典型值在1~5分钟。首次单击右下角的“预览”可能超时,请再次重试单击“预览”。
| |
| 文件修改时间过滤 | 导入间隔选择一次性时,支持按修改时间过滤文件。
| |
| 数据格式配置 | 日志文件编码 | 日志文件编码支持UTF-8、GBK。 UTF-8编码是一种变长编码方式,用于表示Unicode字符集。GBK全称《汉字内码扩展规范》,中文计算机编码的一种,是ASCII码和GB2312编码的扩展。 |
| 提取模式 | LTS解析OBS文件内日志时,需针对不同日志类型配置提取策略,请根据业务需求选择对应的提取模式。 当OBS日志超过1MB限制时,LTS会按日志类型采取差异化处理:
提取模式说明:
不开启“自定义时间”时,使用日志被采集时间作为日志时间。 开启“自定义时间”时,可指定某一字段作为日志时间。填写时间字段Key名称、字段Value、时间格式,设置完成后,单击
不开启“自定义时间”时,使用日志被采集时间作为日志时间。 开启“自定义时间”时,可指定某一字段作为日志时间。填写时间字段Key名称、字段Value、时间格式,设置完成后,单击 设置json解析层数,取值范围为1~4,只能整数,默认值为1。将json格式日志的字段展开,例如原始日志为{"key1":{"key2":"value"}},解析1层日志为:{"key1":{"key2":"value"}},解析2层日志为:{"key1.key2":"value"}。 |
设置完成后,单击右下角的“预览”。预览只扫描并返回符合条件的第一个文件的前10行内容。LTS仅支持预览≤10MB的文件。若提示文件过大,您可以临时修改文件正则过滤规则,指定一个<10MB的文件进行预览。预览完成后,再将文件正则过滤规则恢复为原配置。
在结果预览下方查看结果,确认无误后,单击“提交”。
接入成功后,则会生成一条接入配置信息。邀测期间,最多支持10个运行中的接入任务。
导入间隔选择一次性导入的OBS导入LTS任务完成后,建议等待5分钟后,再重新创建新任务或者打开“接入配置开关”开关。
单击接入配置名称可进入详情页面,查看该接入配置详细信息。
单击接入配置操作列的“修改”重新修改接入配置信息。不支持修改导入间隔为一次性的任务。
单击接入配置操作列的“标签管理”即可添加标签。
单击接入配置操作列的“复制”复制一条新的接入配置信息。
单击接入配置操作列的“删除”即可删除接入配置信息。
注意
删除接入配置后会导致日志无法正常采集,可能会影响用户日志相关业务异常,且删除后无法恢复,请谨慎操作。
若不需要采集日志,关闭“接入配置开关”列的开关。若需要重新采集日志,需要重新开启“接入配置开关”列的开关。
注意
关闭接入配置后会导致日志无法正常采集,可能会影响用户日志相关业务异常,请谨慎操作。