本模块主要用于数据源管理。您可以在本模块手动添加或导入数据源,或者利用主动嗅探资产和被动发现资产功能,待系统自动发现数据源后,再对数据源执行添加操作。
查看数据源列表
1.使用安全管理员账号登录数据分类分级实例。
2.在左侧导航栏选择“数据资产管理 > 数据源管理”即可进入“数据源管理”页面查看数据源列表。
数据源列表的展示字段包括:数据源名称、数据源类型、主机:端口、业务系统、部门、责任人、创建用户、创建时间、最近同步时间、最近分类分级时间、发现结果、同步状态、同步标识、分类分级状态、同步进度、操作。由于页面宽度的限制,部分字段需要拉动页面下方水平滚动条进行查看。其中:
同步状态:分为待同步、已同步、同步中、失败四种;
同步标识:分为已更新、建议重配两种;同步状态为待同步或失败的数据源,其同步标识为空;
分类分级状态:分为待执行、执行中、暂停、完成、失败五种,执行分类分级任务见“分类分级管理 > 结构化数据”页面;
发现结果:显示最近一次分类分级中发现的新增字段数和减少字段数。
新增数据源
1.使用安全管理员账号登录数据分类分级实例。
2.在左侧导航栏选择“数据资产管理 > 数据源管理”,进入“数据源管理”页面。
3.单击页面左上角的“新增”即可开始新增数据源。
参数 | 参数说明 | 填写示例 |
---|---|---|
数据源类型 | 支持选择以下类型:
| DB:MySQL |
数据源名称 | 自定义新增的数据源名称 | Test |
行业模板 | 选择需要使用的行业模板,如何新增行业模板可参考:行业模板章节。 | 金融 |
驱动 | 选择当前数据源的数据库驱动版本 | - |
主机 | 填写数据源的主机地址,一般可填写IP地址 | 192.168.0.1 |
端口 | 填写数据源的主机端口 | 8080 |
库名/实例名 | 填写数据源的库名或实例名 | Test |
版本号 | 填写数据源的版本号 | v1 |
账号 | 填写可正常访问数据源的账号 | admin |
密码 | 填写正确的密码 | - |
4.填写完毕后,单击“保存”,系统会弹出提示“是否自动同步”,根据您自身需求选择。
若选择“确定”,系统会自动同步当前数据源,获取其中数据表的表名、表注释、字段名、字段注释等信息,为后续分类分级扫描做准备;该过程不涉及字段内容的抽样。
若选择“取消”,则关闭弹框,不执行任何其他操作,用户界面停留在当前页面,新增数据源需要后续手动点击“操作”列“同步”。
说明
若您添加的为非METADATA类型的数据源,可以对数据库账号进行“获取扫描配置”。
若获取扫描配置成功,提示“测试成功”;
若获取扫描配置失败,提示“测试失败”,并且鼠标悬浮时提示具体错误信息。
METADATA数据源配置
当您选择METADATA数据源类型,可以在无法直连数据库的情况下,根据表字段信息进行分类分级,文件中需上传的内容请参见下图。
文件上传后,系统将自动对内容进行逐行校验。若提示校验失败,您可以单击提示右侧“点击下载”按钮,下载带有错误信息提示的文件。错误文件在用户原上传文件内容的基础上,新增“错误原因”一列,用于记录对应行的数据未通过校验的原因。根据提示,调整文件后重新上传符合要求的文件。
成功上传后,系统提示“上传已完成,请及时进行分类分级执行,确保数据格式准确”。
SFTP/FTP/LOCAL数据源配置
选择SFTP、FTP、LOCAL数据源类型时,表单在基本属性和高级属性模块提供额外配置内容,包括文件路径、文件名匹配、文件列包围符、文件列分割符、文件编码格式,且均为必填项。
配置内容 | 说明 |
---|---|
文件路径 | 系统将扫描该路径下的所有文件,包括子目录下的文件; 本配置项设有格式校验,路径必须以“/”开头; 不允许描述相对路径(包含子目录)。 |
文件名匹配 | 默认值为“*”,表示查找所有文件; 支持使用通配符进行文件名匹配,如“*.csv”,此时系统只扫描符合的文件。 |
文件列包围符 | 默认值为英文双引号,长度不得超过一个字符。支持输入ASCII码,勾选文本输入框右侧的勾选框后开启ASCII码输入模式。(仅对CSV、TXT格式文件生效) |
文件列分隔符 | 默认值为英文逗号,长度不得超过一个字符。支持输入ASCII码,勾选文本输入框右侧的勾选框后开启ASCII码输入模式。(仅对CSV、TXT格式文件生效) |
文件编码 | 可选项包括UTF-8和GBK,默认为UTF-8。(仅对CSV、TXT格式文件生效) |
HIVE/INCEPTOR数据源配置
选择Hive或Inceptor数据源类型时,表单在基本属性模块提供额外配置内容,包括集群平台、认证类型等,且均为必填项。
配置内容 | 说明 |
---|---|
集群平台 | 可选项包括APACHE_HADOOP、CDH(Hive),或TDH(Inceptor)。 |
认证类型 | 可选项包括常规认证、Kerberos认证(Hive),或常规认证、Kerberos认证、Token认证(Inceptor)
|
导入数据源
1.使用安全管理员账号登录数据分类分级实例。
2.在左侧导航栏选择“数据资产管理 > 数据源管理”即可进入“数据源管理”页面查看数据源列表。
3.单击页面右上角的“导入”按钮,可以批量导入数据源。
4.选择“模板下载”,在下载的模板中填写相关内容。
说明
数据源名称不得与系统内已有的数据源名称重复;
若类型为ORACLE数据库,则“库名/实例名”与“服务名”必选填一个,“角色”在NORMAL、SYSDBA、SYSOPER中必选一个值;
若类型为INFORMIX数据库,则“库名/实例名”与“服务名”均为必填;
SFTP/FTP/LOCAL/METADATA/MYSQL分片环境/HIVE类型数据源暂不支持通过该模板批量导入,请使用<新增>功能在产品界面中直接添加。
导入本文件时无需配置行业模板。数据源导入成功后,行业模板默认使用当前的默认模板。
导入数据字典
数据字典是用户自身业务系统中已有的描述字段业务意义的文件。
1.您可以在数据源列表页选择“操作”列的“… > 上传数据字典”。
2.在弹出的窗口中,选择“样例下载”,下载模板并填写内容,包含以下字段:数据库名、Schema、表名、表注释、字段名、字段注释。其中,数据库名、Schema、表名、字段名为必填项。
其他操作
编辑数据源:在“数据源管理”页面,选择需要编辑的数据源,单击“操作”列的“编辑”按钮即可编辑数据源。
删除数据源:在“数据源管理”页面,选择需要删除的数据源,选择“操作”列的“… > 删除”按钮即可删除数据源。
同步数据源:在“数据源管理”页面,选择需要同步的数据源,单击“操作”列的“同步”按钮即可同步数据源。在数据源同步时,您可以选择“终止同步”终止数据同步。
说明
同步完成后,数据资产目录将显示该数据源的库表列结构;同时,安全评估-数据库账号模块将同步得到相关数据库账号。