新建对账作业 模块 参数名 说明 基本信息 子作业名称 在作业的执行结果中,每条规则对应一个子作业。为便于结果查看和日志定位,建议您补充子作业信息。 基本信息 描述 为更好的识别子作业,此处加以描述信息。 来源对象/目的对象 规则类型 来源对象的“规则类型”包括“表级规则”,“字段级规则”和“自定义规则”。字段级规则可针对表中的具体字段配置监控规则。此处选择为表级规则,页面中其他设置项对应为表级规则配置项。 目的对象的“规则类型”由来源对象的规则类型自动生成。 来源对象/目的对象 数据连接 来源对象/目的对象支持的数据源类型:DWS,MRS Hive,DLI,ORACLE、RDS(MySQL、PostgreSQL)。 从下拉列表中选择已创建的数据连接。 说明 规则都是基于数据连接的,所以在建立数据质量规则之前需要先到管理中心模块中建立数据连接。 针对通过代理连接的MRS HIVE,需要选择MRS API方式或者代理方式提交: MRS API方式:通过MRS API的方式提交。历史作业默认是MRS API提交,编辑作业时建议不修改。 代理方式:通过用户名、密码访问的方式提交。新建作业建议选择代理提交,可以避免权限问题导致的作业提交失败。 来源对象/目的对象 数据对象 在来源对象选择的数据表将和右侧目的对象的数据表做结果比较。选择配置的数据对账规则所应用到的表。 说明 数据表与数据库强相关,基于已选择的数据库。数据库基于已建立的数据连接。 来源对象/目的对象 SQL 当“规则类型”选择“自定义规则”时,需要配置该参数。此处需输入完整的SQL语句,定义如何对数据对象进行数据质量监控。 计算引擎 集群名称 选择运行对账作业的引擎。仅数据连接为DLI类型时,此参数有效。 规则模板 模板名称 该参数定义如何对数据对象做数据质量监控。 来源对象的模板名称包含内置的规则模板和用户自定义的规则模板。 目的对象的“模板名称”由来源对象的规则类型自动生成。 说明 模板类型与规则类型强相关,详情请参见 规则模板 版本 仅“模板名称”选择为自定义的规则模板时,需要配置该参数。自定义的规则模板发布后,会产生对应的版本号,此处选择所需的版本。 计算范围 选择扫描区域 支持选择“全表扫描”或“条件扫描”,默认为全表扫描。 当仅需计算一部分数据,或需周期性按时间戳运行质量作业时,建议通过设置where条件进行条件扫描。 计算范围 where条件 输入where子句,系统会选择符合条件的数据进行扫描。 例如需要筛选数据表中“age”字段在(18, 60]区间范围内的数据时,where条件可设置为如下内容: age > 18 and age < 60 where条件还支持输入为SQL动态表达式,例如当需要根据“time”字段筛选数据表中24小时前的数据时,where条件可设置为如下内容: time > (datetrunc('hour', now()) interval '24 h') and time < (datetrunc('hour', now())) 告警条件 告警表达式 此参数可选,如果您需要针对当前规则设定告警条件,则可以在此配置告警条件的表达式。 配置规则的告警条件后,系统通过“告警参数”的值,结合告警条件进行真假判断,如果结果为真则进行告警。另外,除了单一告警表达式的结果,您还可以通过逻辑运算符组成组成更复杂的告警条件进行告警。当前表达式中支持如下逻辑运算符,且可以通过“(”和“)”进行包围: +:相加 :相减 :相乘 /:相除 :等于 !:不等于 >:大于 <:小于 >:大于等于 <:小于等于 !:非 ll:或 &&:与 例如,对账作业的来源侧和目的侧的“规则模板”为“表行数”时,您可以参考如下样例进行配置: 需要配置来源侧表行数小于100时告警,则此处可设置为“ ${11} < 100 ”,其中“ ${11} ”为通过告警参数配置的来源侧表“总行数”。 需要配置来源侧表行数不等于目的侧表行数时告警,则此处可设置为“ ${11}!${21} ”,其中“ ${11} ”为通过告警参数配置的来源侧表“总行数”,“ ${21} ”为通过告警参数配置的目的侧表“总行数”。 需要配置来源侧表行数小于100或来源侧表行数不等于目的侧表行数时告警,则此处可设置为“ (${11}<100)(${11}!${21}) ”,其中“ ${11} ”和“ ${21} ”分别为通过告警参数配置的来源侧表和目的侧表的“总行数”,“ ”表示满足两个条件之一即会告警。 告警条件 告警参数 此参数来源于规则模板的输出结果。您可以单击界面显示的参数从而输入告警表达式中的告警参数,单击后系统会在“告警表达式”输入框给出参数的表达式。 例如“规则模板”为“表行数”时,点击告警参数“总行数”,在“告警表达式”输入框会显示为“ ${11} ”。 告警条件 逻辑运算符 可选,本参数支持将单一告警表达式的结果进行逻辑运算,组成更复杂的告警条件。 您可以将鼠标光标放在“告警表达式”输入框处需要进行逻辑运算的两个告警表达式之间,然后单击输入如下之一运算符。另外,您也可以手动输入,当前表达式中支持如下逻辑运算符,且可以通过“(”和“)”进行包围: +:相加 :相减 :相乘 /:相除 :等于 !:不等于 >:大于 <:小于 >:大于等于 <:小于等于 !:非 ll:或 &&:与 例如,“规则模板”为“表行数”,需要配置来源侧表行数小于100或来源侧表行数不等于目的侧表行数时告警,则此处可设置为“ (${11}<100)(${11}!${21}) ”,其中“ ${11} ”和“ ${21} ”分别为通过告警参数配置的来源侧表和目的侧表的“总行数”,“ ”表示满足两个条件之一即会告警。