对象存储服务OBS接入LTS 参数类型 名称 说明 基本配置 采集配置名称 自定义采集配置名称,长度范围为1到64个字符,只支持输入英文、数字、中文、中划线、下划线及小数点,且不能以小数点、下划线开头或以小数点结尾。 基本配置 任务监控 默认开启。 开启后会将每次任务执行状态写入日志流ltssystem/ltsobs2ltsstatistics,您可以查看OBS文件导入LTS任务监控中心或者配置告警规则,及时发现数据导入过程中可能出现的异常问题。 OBS数据源配置 OBS桶 选择需要导入日志文件到LTS的OBS桶。 OBS数据源配置 文件夹前缀 输入待导入的OBS文件前缀,用于准确定位待导入的文件,支持输入文件前缀yourprefix/或完整路径yourprefix/file.gz。 只支持导入5GB(单个文件)以内的原始文件,且只能串行导入。 您可以参考如下方法获取日志的文件夹前缀: 1. 在OBS控制台桶列表页面,单击目标桶名称进入对象页面。 2. 在“对象”页面,找到需要导入LTS的OBS文件名称,单击该OBS文件操作列的“更多 > 复制路径”。 OBS数据源配置 文件正则过滤 用于过滤文件的正则表达式,只有文件名匹配该正则表达式的文件才会被导入。若不填写正则表达式,表示不过滤文件。 假设目录下有aab和aba文件: 只匹配aab文件,正则写法:aab或aa或^aab或者aa. 只匹配aba文件,正则写法:aba或^aba或者^ab,不能写ab因为这样aab也是能匹配上的 匹配aab和aba,正则写法:ab或者a. 如果存在正则关键字的字符需要转义,例如{}则需要转义为{} OBS数据源配置 压缩格式 支持自动检测、不压缩、压缩gzip、压缩zip、压缩snappy。如果是zip压缩文件,只能包含一个文件,不能有任何文件夹。 OBS数据源配置 导入间隔 一次性:只导入一次,云日志服务不会检测新出现的文件。只支持导入标准存储的OBS文件,不支持导入归档存储的OBS文件,如需导入,请提前将归档存储的OBS文件解冻恢复为标准存储的OBS文件。 固定间隔:设置固定时间导入文件,云日志服务会检测新出现的文件,并导入云日志服务。 开启“解冻归档文件”:只支持解冻对象存储类别为归档存储的OBS文件。归档存储文件需要激活此选项,归档存储文件激活需要一定时间,归档存储文件加急恢复典型值在1~5分钟。首次单击右下角的“预览”可能超时,请再次重试单击“预览”。 周期任务首次开始扫描obs上文件,文件的最后修改时间区间范围是(周期首次运行时间固定间隔时间,周期首次运行时间]。例如周期任务首次开始12:00:00,obs导入任务配置的固定时间间隔为10分钟,那么首次扫描出来的obs文件其最后修改时间在(11:50:00, 12:00:00]区间内,第二次周期12:10:00运行,则扫描出来的文件其最后修改时间在(12:00:00, 12:10:00]区间内。 一次性任务如果处理某个文件失败后,扫描出来的其余文件不会再被解析上报到LTS。 固定间隔任务关闭后重新开启,监控数据连续性最多保持一天。 固定间隔任务在某个周期时间内处理文件失败后,该周期时间内扫描出来的其余文件不会再被解析上报到LTS。 OBS数据源配置 文件修改时间过滤 导入间隔选择一次性时,支持按修改时间过滤文件。 选择“所有”,不按修改时间过滤。 选择“某时间开始”,设置开始时间,按设置的开始时间过滤文件。 选择“特定时间范围”,设置开始时间和结束时间,按设置的特定时间范围过滤文件。 数据格式配置 日志文件编码 日志文件编码支持UTF8、GBK。 UTF8编码是一种变长编码方式,用于表示Unicode字符集。GBK全称《汉字内码扩展规范》,中文计算机编码的一种,是ASCII码和GB2312编码的扩展。 数据格式配置 提取模式 LTS解析OBS文件内日志时,需针对不同日志类型配置提取策略,请根据业务需求选择对应的提取模式。 当OBS日志超过1MB限制时,LTS会按日志类型采取差异化处理: 单行日志单行超过1MB的部分被截断丢弃。 多行日志多行块超过1MB的部分被截断丢弃。 ORC格式日志是单行解析,如果单行日志超过1MB直接被丢弃。 JSON格式日志是单行解析,如果单行日志超过1MB直接被丢弃。 提取模式说明: 单行全文:采集完整的单行日志全文,不做结构化解析。如果您需要对日志做结构化解析,请在完成OBS文件导入配置后,请参考设置云端结构化解析日志设置。 多行全文:采集完整的多行日志全文(如堆栈日志),不做结构化解析。如果您需要对日志做结构化解析,请在完成OBS文件导入配置后,请参考设置云端结构化解析日志设置。 ORC:采集ORC格式的日志。 不开启“自定义时间”时,使用日志被采集时间作为日志时间。 开启“自定义时间”时,可指定某一字段作为日志时间。填写时间字段Key名称、字段Value、时间格式,设置完成后,单击 校验。 如果导入的数据写入到css集群,LTS不支持ORC格式日志自定义两天前的时间。自定义时间格式请参考自定义日志时间。 JSON:采集JSON格式的日志。 不开启“自定义时间”时,使用日志被采集时间作为日志时间。 开启“自定义时间”时,可指定某一字段作为日志时间。填写时间字段Key名称、字段Value、时间格式,设置完成后,单击 校验。 如果导入的数据写入到css集群,LTS不支持JSON格式日志自定义两天前的时间。自定义时间格式请参考自定义日志时间。 设置json解析层数,取值范围为1~4,只能整数,默认值为1。将json格式日志的字段展开,例如原始日志为{"key1":{"key2":"value"}},解析1层日志为:{"key1":{"key2":"value"}},解析2层日志为:{"key1.key2":"value"}。