新建数据标准 导入数据标准 1.在数据架构控制台,单击左侧的“数据标准”,进入数据标准页面。 2.在数据标准的目录结构中,选择一个指定的目录名称,然后单击上方“更多>导入”,弹出对话框如下图所示。 3.在导入配置页签内,选择是否“更新已有数据”。已有数据是通过标准编码唯一标识的,即如果导入模板中的某个标准编码在当前工作空间下已经存在,则系统会认为导入模板中标准编码所在的这组数据为已有数据。 4.在导入配置页签内,单击“下载数据标准导入模板”下载模板。打开模板,请根据业务需求填写好模板中的相关参数并保存。 模板中的参数说明如下表所示,其中名称前带“ ”的参数为必填参数,名称前未带“ ”的参数为可选参数。 参数名称 说明 目录 导入的数据标准所属的目录。 标准名称 数据标准的中文名称。只能包含中文、英文字母、数字、左右括号、空格、中划线和下划线,且以中文或英文字母开头。 标准编码 支持自动生成和自定义两种方式。 自定义的标准编码要求本工作空间内唯一,用于唯一标识一条数据标准记录。详情参考管理配置中心章节>编码规则 中的添加编码规则说明 表 。 数据类型 数据类型有:STRING、BIGINT、DOUBLE、TIMESTAMP、DATE、BOOLEAN、DECIMAL。 不同的系统数据类型可能存在差异,系统内部会做类型转换。如果未找到所需要的数据类型,您可以参考上方“字段类型管理”章节添加数据类型。 数据长度 可以为空,或者输入1~10000之间的数值。数据长度为空时,对数据长度不做限制。 如果输入了数据长度标准,当数据类型为STRING时,会为关联该标准的属性创建数据质量作业,其他类型暂不支持创建质量作业。 是否有允许值 true表示有允许值,false表示没有允许值。 允许值 当参数“是否有允许值”为true时,必须设置“允许值”。 支持添加多个允许值,最多支持20个。多个允许值之间以逗号分隔,例如“1,2,3”。 引用码表 填写已创建的码表名称。 码表字段 当“引用码表”不为空时,请设置该引用码表中的“码表字段”,这样就可以将码表字段和数据标准相关联。 业务规则责任人 填写业务规则责任人,可以手动输入名字或直接选择已有的责任人。 数据监控责任人 填写数据监控责任人,可以手动输入名字或直接选择已有的责任人。 标准层级 global:全局级别。 domain:非全局级别。 描述 描述信息。支持的长度0~600字符。 用户自定义字段(可选) 如果在定制数据标准模板时,您添加了一个或多个自定义字段,则在导入模板中也需要填写相应的字段,如果未添加自定义字段,则无需填写。关于定制数据标准模板的更多信息,请参见管理配置中心章节中的“标准模板管理”。 在“质量规则”Sheet页中,可以配置数据标准所需添加的质量规则。在“配置中心 > 功能配置”页面中的“模型设计业务流程步骤 > 创建质量作业”勾选的情况下,数据标准设置质量规则后,如果将表关联该数据标准,表在发布成功后,系统将会在DataArts Studio数据质量模块中自动创建一个质量作业,质量作业中会包含此处添加的质量规则。如果当前表已经发布,则系统会自动更新质量作业。 下表为 质量规则Sheet页参数说明 参数名称 说明 标准编码 需要添加质量规则的数据标准编码 规则名称 填写已有的规则名称。在DataArts Studio控制台左上角的模块下拉列表中选择“数据质量”进入DataArts Studio数据质量控制台,然后您可以进入“规则模板”页面查看已有的规则名称。 告警配置 告警条件表达式,由告警参数和逻辑运算符组成。在质量作业运行时,系统将计算出告警条件表达式的结果,并根据表达式的结果是否为真来判断是否触发告警。如果表达式的结果为真则触发质量告警,结果为假则不触发质量告警。 在告警条件表达式中,告警参数以{1}、{2}、{3}等变量名称表示,变量名即代表所指定的质量规则的告警参数,变量$1代表第一个告警参数,$2代表第二个告警参数,以此类推。在DataArts Studio控制台左上角的模块下拉列表中选择“数据质量”进入DataArts Studio数据质量控制台,然后您可以进入“规则模板”页面在“结果说明”一列中查看质量规则支持的告警参数。 例如:{1}>100 正则表达式 只有当“规则名称”配置为“正则表达式校验”或者“合法性校验”时,需要配置正则表达式。 5.返回“导入数据标准”对话框,选择上一步配置好的数据标准模板文件,然后单击“上传文件”。 如果上传的模板文件校验不通过,请修改正确后,再重新上传。 6.在导入对话框中,导入结果会在“上次导入”页面中显示。如果导入成功,单击“关闭”完成导入。如果导入失败,您可以查看失败原因,将模板文件修改正确后,再重新上传。