基本概念

ETL

ETL是指将对业务系统的数据进行抽取、清洗、转换、加载的过程，从而整合零散、不标准、不统一的数据。云日志服务支持加载源日志单元数据，将数据转换后输出到目标日志单元。

事件、数据、日志

在数据加工功能中，事件、数据都表示日志，例如事件时间就是日志时间，字段操作指令fields就是用于保留或丢弃特定日志字段的指令。

日志时间

日志时间指事件所发生的时间，也称事件时间。在云日志服务中的保留字段为__ts__，一般由日志中的时间信息直接提取生成。数据类型为datetime。

日志标签

日志存在标记，区别于其他字段，在数据加工中，标签字段以__tag__:作为前缀。包括：

• 用户自定义标签：用户通过API PutLogs写入数据时添加的标签。

• 系统标签：云日志服务为用户添加的标签，包括__tag__fileName和__tag__hostIp等。

配置相关概念

源日志单元

数据加工中，从中读取数据再进行加工的日志单元是源日志单元。

一个加工任务仅支持一个源日志单元，但可以对一个源日志单元配置多个加工任务。

目标日志单元

数据加工中，数据写入的日志单元是目标日志单元。

一个加工任务可以配置多个目标日志单元，可以是静态配置，也可以是动态配置。具体配置方法，请参见多目标日志单元数据分发。

SPL

SPL（Semi-structured Processing Language）是云日志服务数据加工使用的一种类Linux Shell的脚本语言。SPL提供内置8个基本指令和一百多个类SQL函数，简化了常见的数据加工模式。

加工规则

数据加工脚本， SPL编排的逻辑代码的集合。

加工任务

数据加工最小调度单元，由源日志单元、目标日志单元、加工规则、加工时间范围以及其他配置项组成