数据质量节点
更新时间 2024-11-28 03:14:54
最近更新时间: 2024-11-28 03:14:54
您可以在数据开发工作流中增加数据质量节点并配置定时策略,通过周期调起质量节点运行数据质检规则,质检规则(强规则)不符合预期时将自动拦截问题任务,有效阻断脏数据向下游蔓延。
前提条件
- 您已在数据质量模块创建质检规则并上线。
- 您已绑定至少一个翼MapReduce引擎,质检任务以SparkSQL的方式执行。
使用限制
- 质检节点仅支持当前工作流已绑定的引擎实例的内置Hive数据源和内置Doris数据源。
创建数据质量节点
在工作流开发页面,您可以通过拖拽“数据质量”节点进入画布完成节点新增。
配置数据质量节点
双击数据质量节点即可打开节点配置弹窗,您可以快速选择数据源、库、表信息,并指定当前节点需要运行的分区表达式规则,完成配置后,您可以即时查看当前分区表达式下已配置的规则数及强规则数量。
强规则:强规则数据质检规则失败或者不符合预期时,将阻断下游任务执行,避免脏数据蔓延。