新建质量作业 添加方式 配置 说明 基本信息 子作业名称 在作业的执行结果中,每条规则对应一个子作业。为便于结果查看和日志定位,建议您补充子作业信息。 基本信息 描述 为更好的识别子作业,此处加以描述信息。 来源对象 规则类型 包括库级规则、表级规则、字段级规则、跨字段级规则和自定义规则,自定义规则可针对表中的具体字段配置监控规则。 来源对象 数据连接 来源对象/目的对象支持的数据源类型:DWS,MRS Hive,DLI,ORACLE、RDS(MySQL、PostgreSQL)。 从下拉列表中选择已创建的数据连接。 说明 规则都是基于数据连接的,所以在建立数据质量规则之前需要先到管理中心模块中建立数据连接。 针对通过代理连接的MRS HIVE,需要选择MRS API方式或者代理方式提交: MRS API方式:通过MRS API的方式提交。历史作业默认是MRS API提交,编辑作业时建议不修改。 代理方式:通过用户名、密码访问的方式提交。新建作业建议选择代理提交,可以避免权限问题导致的作业提交失败。 来源对象 数据库 选择配置的数据质量规则所应用到的数据库。 说明 数据库基于已建立的数据连接。 当“规则类型”选择“库级规则”,数据对象选择对应的数据库即可。 来源对象来源对象 数据表 选择配置的数据质量规则所应用到的表。 说明 数据表与数据库强相关,基于已选择的数据库。 当“规则类型”选择“表级规则”,数据对象选择对应的数据表。 来源对象 SQL 当“规则类型”选择“自定义规则”时,需要配置该参数。此处需输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 来源对象 失败策略 选择是否勾选“忽略规则错误”。 来源对象 选择字段 当“规则类型”选择“字段级规则”,需要配置该参数。此处选择对应数据表中的字段。 说明 数据质量字段级别校验不支持对字段名为单个字母(例如:a,b,c,d...等)的字段进行校验。 来源对象 参考数据对象 当“规则类型”选择“跨字段级规则”,需要配置该参数。此处选择参考的数据字段。 来源对象 维度 当“规则类型”选择“自定义规则”时,需要配置该参数。将该自定义规则与质量六性(完整性、有效性、及时性、一致性、准确性、唯一性)进行关联。 计算引擎 集群名称 选择运行质量作业的引擎。仅数据连接为DLI类型时,此参数有效。 规则模板 模板名称 选择系统内置的或者用户自定义的规则模板。 说明 模板类型与规则类型强相关,详情请参见 规则模板 版本 仅“模板名称”选择为自定义的规则模板时,需要配置该参数。自定义的规则模板发布后,会产生对应的版本号,此处选择所需的版本。 规则模板 权重 设置规则的权重,支持按照字段级别设置权重。权重范围:【19】,整数。默认值为5。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”,默认为全表扫描。 当仅需计算一部分数据,或需周期性按时间戳运行质量作业时,建议通过设置where条件进行条件扫描。 计算范围 where条件 输入where子句,系统会选择符合条件的数据进行扫描。 例如需要筛选数据表中“age”字段在(18, 60]区间范围内的数据时,where条件可设置为如下内容: age > 18 and age < 60 where条件还支持输入为SQL动态表达式,例如当需要根据“time”字段筛选数据表中24小时前的数据时,where条件可设置为如下内容: time > (datetrunc('hour', now()) interval '24 h') and time < (datetrunc('hour', now())) 告警条件 告警表达式 此参数可选,如果您需要针对当前规则设定告警条件,则可以在此配置告警条件的表达式。如果您需要通过多条规则的逻辑运算统一设置告警条件的表达式,此处无需设置,可在下一步的告警配置中统一设置。 配置规则的告警条件后,系统通过“告警参数”的值,结合告警条件进行真假判断,如果结果为真则进行告警。另外,除了单一告警表达式的结果,您还可以通过逻辑运算符组成组成更复杂的告警条件进行告警。当前表达式中支持如下逻辑运算符,且可以通过“(”和“)”进行包围: +:相加 :相减 :相乘 /:相除 :等于 !:不等于 >:大于 <:小于 >:大于等于 <:小于等于 !:非 ll:或 &&:与 例如,“规则模板”为“字段空值”时,您可以参考如下样例进行配置: 需要配置字段空值大于10时告警,则此处可设置为“ {1}>10”,其中“ {1}”为通过告警参数配置的“空值行数”。 需要配置有字段空值率大于80%时告警,则此处可设置为“ {3}>0.8”,其中“ {3}”为通过告警参数配置的“空值率”。 需要配置字段空值大于10或字段空值率大于80%时告警,则此处可设置为“( {1}>10)ll ( {3}>0.8)”,其中“ {1}”和“ {3}”分别为通过告警参数配置的“空值行数”和“空值率”,“ll”表示满足两个条件之一即会告警。 告警条件 告警参数 此参数来源于规则模板的输出结果。您可以单击界面显示的参数从而输入告警表达式中的告警参数,单击后系统会在“告警表达式”输入框给出参数的表达式。 例如“规则模板”为“字段空值”时,点击告警参数“空值行数”,在“告警表达式”输入框会显示为“${1}”。 告警条件 逻辑运算符 可选,本参数支持将单一告警表达式的结果进行逻辑运算,组成更复杂的告警条件。 您可以将鼠标光标放在“告警表达式”输入框处需要进行逻辑运算的两个告警表达式之间,然后单击输入如下之一运算符。另外,您也可以手动输入,当前表达式中支持如下逻辑运算符,且可以通过“(”和“)”进行包围: +:相加 :相减 :相乘 /:相除 :等于 !:不等于 >:大于 <:小于 >:大于等于 <:小于等于 !:非 ll:或 &&:与 例如,“规则模板”为“字段空值”,需要配置字段空值大于10或字段空值率大于80%时告警,则“告警表达式”可设置为“( {1}>10)ll ( {3}>0.8)”,其中“ {1}”和“ {3}”分别为通过告警参数配置的“空值行数”和“空值率”,“ll”表示满足两个条件之一即会告警。 告警条件 质量评分 当“规则类型”选择“自定义规则”时,需要配置该参数。 告警条件 生成异常数据 开启“生成异常数据”开关,单击“选择库表”可将质量作业中不符合设定规则的异常数据存储在异常表中。 说明 自定义模板不支持生成异常数据,自定义规则可通过自定义异常表SQL生成异常数据。 系统内置模板,“表级规则”中的“表行数”模板。“字段级规则”中的“字段平均值”、“字段汇总值”、“字段最大值”、“字段最小值”模板不支持生成异常数据。 当质量作业设置周期调度或重跑时,每次实例运行的扫描的异常数据会持续插入该异常表。建议您定期到该数据湖中清理异常表数据,避免异常数据表超大带来的成本与性能问题。 告警条件 异常表 单击选择库表,可以配置输出表名的前后缀。 告警条件 输出配置 输出规则配置:勾选,则可在异常表中显示质量作业的配置信息,方便查看异常数据产生的源头。 输出空值:勾选,则当空值不满足设定规则时,可在异常表中输出空值。 告警条件 异常数据数量 可选择输出全部的异常数据,或者设定数量的异常数据。 告警条件 异常表SQL 当“规则类型”选择“自定义规则”时,需要配置该参数。此处需输入完整的SQL语句,指定输出哪些数据是异常数据。 告警条件 查看相同规则 单击,创建质量作业时, 能够根据表和字段判断规则的重复性。 提示已存在相关子规则和质量作业,您可看到已有规则。 计算范围 选择扫描区域 用来确定所配置的某条规则应检查的范围。 勾选全表扫描,则遍历所有表。 勾选条件扫描,输入where条件后,精确定位分区查询数据,不需要全表扫描查询。
来自: