云日志服务提供可扩展、高可用的数据加工服务。数据加工服务可用于日志的规整、富化、流转、脱敏和过滤等。

加工流程

日志加工服务通过如下三个步骤完成加工处理。

1. 通过消费组对源日志单元的已分词日志进行读取。

2. 通过加工规则对读取到的每一条分词日志进行加工处理。

3. 将加工后的日志写入目标日志单元。加工完成后，您可以在目标日志单元中查看加工后的日志。

功能特性

• 数据规整：由于日志数据通常来自于不同的系统组件、应用程序或设备，其格式和结构可能各异，导致在对日志数据进行分析、搜索和可视化时出现困难。数据规整可针对混乱格式的日志进行字段提取、格式转换，统计为一致性格式以便后续的处理与分析。

• 数据脱敏：对日志数据中的敏感信息（如密码、手机号、地址等）进行脱敏。

• 数据过滤：针对关键业务或服务的日志进行过滤，用于后续重点分析等场景。

加工语法

加工SPL（Semi-structured Processing Language）是云日志服务数据加工使用的类Linux Shell脚本，支持对半结构化的日志数据做结构化处理，比如信息提取、字段操作、数据过滤等操作。SPL提供类类似Linux Shell脚本的管道级联功能，其中第一级管道前的表达式是数据源（可以是索引过滤条件或其他SPL语句的命名引用），后面的多级管道前后都是SPL命令表达式。