数据集成工具_数据集成工具文档介绍内容-天翼云

元数据简介
本章节主要介绍元数据采集的元数据介绍。按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据目录
元数据采集
元数据简介
数据目录
本章节主要介绍数据目录相关问题。数据目录组件有什么用? 数据目录的核心是通过元数据采集任务,采集并展示企业的数据资产地图,包括所有的元数据信息和数据血缘关系。数据目录支持采集哪些对象的资产? 数据目录目前支持采集的资产有:数据仓库服务(DWS)、MapReduce服务(MRS HBase)、MapReduce服务(MRS Hive)、MySQL、云数据库 RDS(DataArts Studio仅支持MySQL和PostgreSQL数据库)。什么是数据血缘关系?

来自：
帮助文档
数据治理中心 DataArts Studio
常见问题
操作类
数据目录
数据资产管理
本章节为您介绍数据资产的相关操作。数据资产功能主要用于数据源输出目标的管理,您可以在该功能模块手动添加或导入导出数据源/输出目标。手动新增数据源1.使用系统管理员账号登录数据脱敏实例。2.在左侧目标栏选择“数据资产管理 > 数据源/目标”,进入“数据源/目标”管理页面。3.单击页面左上角的“新增”按钮,在右侧的窗口中数据需要新增数据源的相关信息。注意不同的数据源类型会存在不同的参数填写情况。

来自：
帮助文档
数据安全专区
用户指南
数据脱敏操作指导
数据资产管理
查看元数据
本章节主要介绍查看元数据。元数据说明元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。创建表时,会定义元数据,由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。查看元数据步骤查看元数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。在“数据管理”页面查看元数据。在管理控制台左侧,单击“数据管理”>“库表管理”。

来自：
帮助文档
数据湖探索
用户指南
数据管理
库表管理
查看元数据
数据目录
本节主要介绍数据目录监控信息。在“监控”页面点击“数据目录”,可以查看对应数据目录的实时监控信息:数据目录容量、数据目录已用容量、数据目录使用率、容量配额、已用容量配额、容量配额使用率、健康状态、健康详情。说明对于单机版,可以根据健康状态,选择查看对应数据目录的信息。对于集群版,可以根据存储池名称或者健康状态,选择查看对应数据目录的信息。图1 数据目录实时监控信息(单机版)图2 数据目录实时监控信息(集群版)项目描述数据目录具体数据目录路径。数据目录容量数据目录所在磁盘的容量。

来自：
帮助文档
存储资源盘活系统
用户指南
运维
监控
数据目录
任务搜索
本节为您介绍数据库迁移工具提供任务搜索功能。数据库迁移工具提供任务搜索功能,用户可根据任务名称、状态、任务时间、是否配置增量、是否配置吉和修复筛选出想要查看的迁移任务。

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据迁移
任务搜索
数据架构
本章节主要介绍数据架构相关问题。码表和数据标准有什么关系? 码表的组成:码表由多条表字段的名称+编码+数据类型组成。码表与数据标准的关系:码表的表字段可以关联到数据标准上,数据标准会应用到某张模型表的字段上。关系建模和维度建模的区别? 关系建模为事务性模型,对应三范式建模。维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。数据架构支持哪些数据建模方法?

来自：
帮助文档
数据治理中心 DataArts Studio
常见问题
操作类
数据架构
数据目录
本章节主要介绍数据目录的数据目录。通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。资产搜索通过资产名称和描述的关键字或按所有属性搜索资产,支持模糊搜索。 1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。详见下图: 选择数据目录 2.选择“数据地图 > 数据目录”。 3.在资产搜索输入框输入需要查找的数据关键字进行搜索,搜索结果以列表方式显示。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据目录
数据地图
数据目录
新建数据标准
本章节主要介绍新建数据标准。数据标准是用于描述公司层面需共同遵守的数据含义和业务规则,它描述了公司层面对某个数据的共同理解,这些理解一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。数据标准,也称数据元,由一组属性规定其定义、标识、表示和允许值的数据单元,是不可再分的最小数据单元。您可以将数据标准关联到各个业务上的数据库中。其中,标识符、数据类型、表示格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据架构
标准设计
新建数据标准
数据对比任务
本章节为您介绍数据安全专区的数据对比任务。 “数据对比任务”页面用于比较生产源和对比目标,轻松发现目标数据是否脱敏;也可用于验证数据脱敏处理效果,即对比脱敏前后的数据差异。注意目前,系统仅支持对比同构数据库中的敏感字段,自动跳过非敏感字段,且表名及表所含字段名完全相同才算匹配上。不支持对比主键经过脱敏的数据。新增数据对比任务1.使用系统管理员登录数据脱敏实例。2.在左侧导航栏选择“数据对比 > 数据对比任务 ”,进入“数据对比任务”页面。

来自：
帮助文档
数据安全专区
用户指南
数据脱敏操作指导
数据对比任务
数据安全
在数字化时代,数据已成为企业的重要资产。确保数据的安全性对于保护企业的商业机密、维护客户信任以及满足法规要求至关重要。天翼云提供了全面的数据安全解决方案,帮助用户保障数据的完整性、机密性和可用性。数据完整性数据完整性是指数据在存储和传输过程中保持准确和一致,未被未经授权的修改或损坏。天翼云通过以下几种技术确保数据的完整性。数据三副本技术数据三副本技术是一种在分布式存储系统中使用的数据冗余技术。它的原理是将数据分块后的三个副本保存在集群中不同的节点上,以提高数据的可靠性和容错性。

来自：
帮助文档
弹性云主机
安全合规
数据安全
冷热数据分离
本节主要介绍冷热数据分离。 GeminiDB Influx在同一数据保留策略(Retention Policy,简称RP,包含数据保留时长,备份个数等信息)里实现了冷热数据分离,系统会根据RP中用户设置的冷热数据分界线自动将符合转冷条件的热数据归档到冷存储中。背景在海量大数据场景下,时序数据冷热分明,即随着时间推移历史的时序数据被查询和分析的概率越低,同时因为这些数据占用量比较大,降低这部分冷数据的存储容量将会极大的节省企业的成本。

来自：
帮助文档
云数据库GeminiDB
GeminiDB Influx接口
用户指南
冷热分离
冷热数据分离
查看数据血缘
本章节主要介绍通过数据地图查看数据血缘关系的查看数据血缘。当数据开发模块中的作业已完成血缘关系配置后,启动作业调度,并在数据目录模块进行元数据采集任务,则可以在数据目录模块可视化查看数据血缘关系。前提条件已完成血缘关系的自动配置或手动配置,请参见配置数据血缘。启动作业调度登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据目录
使用教程
通过数据地图查看数据血缘关系
查看数据血缘
查看数据血缘
本章节主要介绍节点数据血缘的查看数据血缘。当数据开发模块中的作业已完成血缘关系配置后,启动作业调度,并在数据目录模块进行元数据采集任务,则可以在数据目录模块可视化查看数据血缘关系。前提条件已完成血缘关系的自动配置或手动配置,请参见配置数据血缘。启动作业调度 1.登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据开发
节点参考
节点数据血缘
查看数据血缘
数据源
本小节介绍日志审计(原生版)数据源用户指南。数据源是获取需要展示日志/告警字段条件数据,配置后可在报表中选择并通过图表的形式展示。新增数据源 1.登录日志审计(原生版)控制台。 2.在左侧导航栏选择“审计报表 > 数据源”,进入“数据源”页面。 3.单击“新增”,并填写新增数据源的相关参数。参数参数说明取值样例数据源名称自定义需要创建的数据源名称。 Test 是否抽样统计确认是否使用抽样统计,不选择默认为“是”。

来自：
帮助文档
日志审计（原生版）
用户指南
审计报表
数据源
查看数据类
当数据类较多时,可以通过搜索功能,选择数据类的“名称”、“业务编码”、“内置”或者“描述”,并在搜索框中输入关键词,单击,即可快速查询指定数据类。参数名称参数说明名称数据类的名称。业务编码数据类的业务编码。内置是否为系统内置数据类。创建人数据类的创建人信息。创建时间数据类的创建时间。更新时间数据类的更新时间。描述数据类的具体描述信息。操作可对数据类进行编辑、删除等操作。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
安全编排
运营对象管理
查看数据类
开启数据消费
在左侧数据空间导航栏中,单击数据空间名称,展开数据管道列后,单击目标管道名称后的“更多> 数据消费”,进入数据消费页面。在数据消费页面中,单击当前状态后的,开启数据消费。开启后,将显示消费配置信息,具体说明如下表所示。参数名称参数说明当前状态当前管道中数据消费配置状态。管道名称当前数据管道的名称。订阅器系统预制的订阅模式,决定数据如何传递给消费者。访问节点当前数据的访问节点。相关操作数据消费开启后,如需关闭,则可在数据消费页面,单击“当前状态”后的,关闭数据消费。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
日志审计
安全分析
开启数据消费
导入数据
前提条件待导入的数据已存储到OBS上。导入数据步骤导入数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。在“数据管理”页面导入数据。 a. 在管理控制台的左侧,选择“数据管理”>“库表管理”。 b. 单击需导入数据的表对应的数据库名称,进入该数据库的“表管理”页面。 c. 在目标表“操作”栏中选择“更多”中的“导入”,弹出“导入数据”页面。在“SQL编辑器”页面导入数据。 a. 在管理控制台的左侧,单击“SQL编辑器”。 b.

来自：
帮助文档
数据湖探索
用户指南
数据管理
库表管理
导入数据
新增数据投递
参数名称参数说明投递类型数据投递类型,默认显示为PIPE,即默认从态势感知(专业版)管道投递。区域当前管道所在区域。工作空间当前管道所属的工作空间。数据空间当前管道所属的数据空间。管道管道的名称数据位置策略当前管道中数据位置的策略。读取身份数据源读取身份信息说明。配置数据目的,请根据投递目的进行配置。PIPE:将当前管道数据投递到本账号其他管道或其他账号的管道中,请根据您的需要进行选择配置。本账号投递:将当前管道数据投递到本账号的其他管道中,参数配置说明如下表所示。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
日志审计
数据投递
投递日志数据至其他数据管道
新增数据投递
同步对象选择
本节为您介绍数据库迁移工具同步对象选择。数据库迁移工具提供同步对象选择,用户可自行选择要同步的表对象。操作步骤: 在可选对象方框中勾选要同步的表对象,可以进行全选、取消全选、表名搜索操作。点击“>”箭头按钮,将选中的对象放置已选对象方框中,可进行全选、取消全选。点击“<”箭头按钮,可将选中的对象移回可选对象方框,不进行同步。

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据同步
任务创建
同步对象选择
数据存储
本文主要介绍云日志服务中数据存储常见问题。云日志服务中的数据可以保存多久? 云日志服务的数据支持1-365天的保存自定义设置,超过保存时间设定数据将会被丢弃。日志项目或日志单元数据在删除后是否可找回? 日志项目和日志单元的数据在执行删除操作后,会进行任务调度删除,不可找回。请您谨慎操作,并注意保管平台的账号密码防止恶意破坏。日志数据是否安全存储?

来自：
帮助文档
云日志服务
常见问题
数据存储
数据对比类
本页为数据对比类常见问题。内容级对比有哪些不支持的数据类型? 以下数据类型的字段不会参与对比: 源数据库为MySQL:TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB、TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT; 源数据库为PostgreSQL:用户自定义的DOMAIN或者TYPE类型。内容对比会自动跳过以下特征的表: 表为空表,无数据。不具有主键、唯一字段、唯一索引。主键、唯一字段、唯一索引组成字段为多字段的复合类型。

来自：
帮助文档
数据传输服务DTS
常见问题
数据对比类
创建数据密钥
创建客户端CEK数据密钥,用来对数据库用户数据加解密。

来自：
帮助文档
分布式融合数据库HTAP
私有云产品
开发手册
全密态
创建数据密钥
数据资产目录
本章节为您介绍数据资产目录相关能力。数据资产目录集中展示数据分类分级结果。展示范围主要是已同步并完成分类分级任务的数据源,不包括未同步的数据源;针对已同步但未完成分类分级任务的数据源,只展示数据库结构信息(表、字段名等),分类分级相关信息由于尚未形成,相关统计数据显示默认值0。每张卡片的展示字段包括:数据表名、数据表注释、数据源、主机、库名、Schema、行业模板、分类、分级、是否梳理、业务系统、部门、责任人、最后梳理时间、字段数、敏感字段数、已梳理占比等。

来自：
帮助文档
数据安全专区
用户指南
数据分类分级操作指导
数据资产管理
数据资产目录
数据安全
使用虚拟私有云可以让租户配置入站IP地址范围,这样就能够控制可以连接数据库的IP地址段。同时,RDS-PostgreSQL实例可以运行在租户独立的虚拟私有云内,这样就能够提升数据库实例的安全性。通过综合运用子网和安全组的配置,可以进一步实现对关系数据库实例的网络隔离。数据销毁在删除关系数据库PostgreSQL版实例时,存储在数据库实例中的数据都会被删除,并且不会被恢复或重新创建。安全删除不仅包括数据库实例所挂载的磁盘,同时还包括备份数据的存储空间。

来自：
帮助文档
关系数据库PostgreSQL版
产品介绍
产品优势
数据安全
补数据监控
本章节主要介绍运维调度的补数据监控。在数据开发模块控制台的左侧导航栏,选择“运维调度 > 补数据监控”,进入补数据的任务监控页面。用户可以在补数据监控主页,查看补数据的任务状态、业务日期、并行周期数、补数据作业名称,以及停止运行中的任务。在补数据监控主页,单击补数据名称,进入补数据监控详情页面。在此页面,用户可以查看补数据的任务执行情况,以及手动干预实例和节点的执行(如需了解更多,请参见批作业监控章节中的补数据 )。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据开发
运维调度
补数据监控
备份元数据
本章节主要介绍备份元数据。操作场景为了确保元数据信息安全,或者用户需要对元数据功能进行重大操作(如扩容缩容、安装补丁包、升级或迁移等)前后,需要对元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。元数据包含OMS数据、LdapServer数据、DBService数据和NameNode数据。备份Manager数据包含同时备份OMS数据和LdapServer数据。默认情况下,元数据备份由“default”任务支持。

来自：
帮助文档
翼MapReduce
用户指南
MRS Manager操作指导（适用于2.x及之前）
备份与恢复
备份元数据
使用自建Beats导入数据至OpenSearch实例
本文将以Filebeat为例,导入数据至OpenSearch实例。适用场景轻量数据收集:适用于需要从大量分布式系统、服务器、容器中收集日志、监控指标等情况。实时日志监控:Beats能够实时收集日志并传送到OpenSearch,是实时日志分析场景的理想选择。低延迟要求的场景:Beats设计为轻量级工具,占用资源少,适合资源受限的环境。前提条件已经开通天翼云云搜索OpenSearch实例。已经部署Filebeat且打通和OpenSearch实例之间的网络。

来自：
帮助文档
云搜索服务
用户指南
OpenSearch实例创建及使用
导入数据至OpenSearch实例
使用自建Beats导入数据至OpenSearch实例
使用自建Beats导入数据至Elasticsearch实例
本文将以Filebeat为例,导入数据至Elasticsearch实例。适用场景轻量数据收集:适用于需要从大量分布式系统、服务器、容器中收集日志、监控指标等情况。实时日志监控:Beats 能够实时收集日志并传送到 Elasticsearch,是实时日志分析场景的理想选择。低延迟要求的场景:Beats设计为轻量级工具,占用资源少,适合资源受限的环境。前提条件已经开通天翼云云搜索Elasticsearch实例。

来自：
帮助文档
云搜索服务
用户指南
Elasticsearch实例创建及使用
导入数据至Elasticsearch实例
使用自建Beats导入数据至Elasticsearch实例
申请数据权限
本文介绍申请数据权限功能,使用户可以快速熟悉申请数据权限页面的相关操作,以及如何申请数据权限。前提条件用户需要具有进入申请数据权限页面的功能权限。注意事项申请数据权限功能仅限企业版。用户仅限申请已加入团队内实例的相关数据权限。每次申请仅限一种类型的资源粒度,资源粒度从大到小依次是实例、库/模式、表。数据权限支持按资源粒度继承,即用户拥有大粒度资源的数据权限时,则默认拥有该大粒度资源下所有小粒度资源的数据权限。

来自：
帮助文档
数据管理服务
用户指南
个人中心
我的权限
申请数据权限
数据保护
本页介绍了关系数据库MySQL版的数据安全技术。关系数据库MySQL版通过多种数据安全手段和特性,保障存储在数据库实例中的数据安全可靠。表1 关系数据库MySQL版的数据安全手段和特性数据安全手段简要说明详细介绍传输加密(SSL) 支持SSL和非SSL传输协议,推荐您使用SSL协议来保证数据传输安全性。

来自：
帮助文档
关系数据库MySQL版
产品简介
安全
数据保护
导出数据
注意事项数据复制工单中对源数据库的操作会被认为是一种DML操作。数据导出的风险拦截规则只对关系型数据库生效。功能介绍导出数据的风险识别规则会拦截用户导出操作,并识别出其中的风险等级,匹配到对应的审批模板,走工单审批流程。若该行为不需要进行审批,则可以直接执行。用户可以自定义导出数据类型不同风险等级需要通过的审批流程。导出数据类型支持的风险管控因子如下: 导出行数导出行数支持的运算符为==,!=,>, >=,<,<=。因子值为正整数,由用户输入。

来自：
帮助文档
数据管理服务
用户指南
SQL治理
SQL风险
导出数据

天翼云最新活动

818算力跃迁·礼遇盛夏

爆款云主机2核2G限时秒杀，28.8元/年起！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云AI产品特惠

8折特惠，新老同享不限购

中小企业服务商合作专区

国家云助力中小企业腾飞，高额上云补贴重磅上线

出海产品促销专区

爆款云主机低至2折，高性价比，不限新老速来抢购！

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

智算服务

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

弹性云主机

GPU云主机

轻量型云主机

弹性伸缩服务

弹性高性能计算

算力互联调度平台

训推服务

应用托管

一站式智算服务平台

推荐文档

Microsoft SQL Server

开票月账单金额与消费记录金额不一致怎么办？

云课堂第十四课：天翼云云硬盘的磁盘模式及共享盘

安装网页防篡改集中管理中心

函数编程模型

系统必备组件安装

活动

智算服务

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

弹性云主机

GPU云主机

轻量型云主机

弹性伸缩服务

弹性高性能计算

算力互联调度平台

训推服务

应用托管

一站式智算服务平台

推荐文档

Microsoft SQL Server

开票月账单金额与消费记录金额不一致怎么办？

云课堂 第十四课：天翼云云硬盘的磁盘模式及共享盘

安装网页防篡改集中管理中心

函数编程模型

系统必备组件安装

云课堂第十四课：天翼云云硬盘的磁盘模式及共享盘