数据集成工具_数据集成工具文档介绍内容-天翼云

数据库审计v1.0
可以通过设计规则来实现,如源IP是主数据库,目的IP是备数据库,这类命令全部过滤,不审计。数据库审计Agent在服务器上生成的日志包含哪些内容?数据库审计Agent在服务器上生成的日志只是Agent的运行日志,且日志的容量有上限,50M*7=350M,存7天,循环覆盖,单日最大是50M。数据库审计是否支持报表导出ofd格式?不支持。在数据库所在服务器上,用数据库工具对数据库进行操作能审计到吗?对应本地审计功能,通过安装Agent的方式是可以的。用户的数据库有区分主库和备库,这种情况占用几个授权?

来自：
帮助文档
云等保专区
常见问题
产品配置类
数据库审计
数据库审计v1.0
功能特性
产品集成通过集成安全防护产品,接入安全产品检测数据,管理检测结果的数据来源。产品集成功能说明:功能模块功能详情安全产品集成通过集成安全防护产品,接入安全产品检测数据,管理检测结果的数据来源,支持查看传输数据量,管理数据上报健康状态。

来自：
帮助文档
态势感知（专业版）
产品介绍
功能特性
迁移进度查看
本节为您介绍数据库迁移工具迁移进度查看。迁移任务启动后,会自动跳转至进度界面,用户通过数据库迁移工具可在线查看进展,包括需处理的表、已迁移的记录数、预计完成时间,总耗时、每张表的迁移详细进度等信息。用户也可以通过任务列表点击任务名查看进度。

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据迁移
任务创建
迁移进度查看
元数据简介
本章节主要介绍元数据采集的元数据介绍。按照传统的定义,元数据(Metadata)是关于数据的数据。元数据打通了源数据、数据仓库、数据应用,记录了数据从产生到消费的全过程。元数据主要记录数据仓库中模型的定义、各层级间的映射关系、监控数据仓库的数据状态及ETL的任务运行状态。在数据仓库系统中,元数据可以帮助数据仓库管理员和开发人员非常方便地找到他们所关心的数据,用于指导其进行数据管理和开发工作,提高工作效率。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据目录
元数据采集
元数据简介
Redis 6.0 Proxy集群实例测试数据
压测机器的规格c7.4xlarge.2 | 16核 | 32G(基础Proxy集群双副本24G(3分片) )2 * c8.4xlarge.2...工具

来自：
帮助文档
分布式缓存服务Redis版
性能白皮书
Redis 6.0 Proxy集群实例测试数据
数据目录
本章节主要介绍数据目录相关问题。数据目录组件有什么用? 数据目录的核心是通过元数据采集任务,采集并展示企业的数据资产地图,包括所有的元数据信息和数据血缘关系。数据目录支持采集哪些对象的资产? 数据目录目前支持采集的资产有:数据仓库服务(DWS)、MapReduce服务(MRS HBase)、MapReduce服务(MRS Hive)、MySQL、云数据库 RDS(DataArts Studio仅支持MySQL和PostgreSQL数据库)。什么是数据血缘关系?

来自：
帮助文档
数据治理中心 DataArts Studio
常见问题
操作类
数据目录
数据层配置
本章节介绍应用容灾多活的数据层配置。概述数据层配置主要包括数据源和数据同步,每个单元组可以单独进行配置,不同单元的数据源之间通过数据传输服务进行数据同步。应用容灾多活通过控制面与数据面协同,对指定数据源进行相应的读写保护。当某个单元发生故障时,可以通过切流任务将应用流量和数据访问切换到其他正常单元,从而保障数据的一致性与业务的连续性。图数据层配置前提条件已开通数据层功能模块。已完成系统架构配置以及路由规则配置。已完成开通数据传输服务DTS实例。

来自：
帮助文档
应用高可用
用户指南
应用容灾多活
资源管理
数据层配置
数据资产管理
本章节为您介绍数据资产的相关操作。数据资产功能主要用于数据源输出目标的管理,您可以在该功能模块手动添加或导入导出数据源/输出目标。手动新增数据源1.使用系统管理员账号登录数据脱敏实例。2.在左侧目标栏选择“数据资产管理 > 数据源/目标”,进入“数据源/目标”管理页面。3.单击页面左上角的“新增”按钮,在右侧的窗口中数据需要新增数据源的相关信息。注意不同的数据源类型会存在不同的参数填写情况。

来自：
帮助文档
数据安全专区
用户指南
数据脱敏操作指导
数据资产管理
查看元数据
本章节主要介绍查看元数据。元数据说明元数据(Metadata)是用来定义数据类型的数据。主要是描述数据自身信息,包含源、大小、格式或其它数据特征。数据库字段中,元数据用于诠释数据仓库的内容。创建表时,会定义元数据,由列名、类型、列描述三列组成。 “元数据”页面将显示目标表的列名、列类型、类型和描述。查看元数据步骤查看元数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。在“数据管理”页面查看元数据。在管理控制台左侧,单击“数据管理”>“库表管理”。

来自：
帮助文档
数据湖探索
用户指南
数据管理
库表管理
查看元数据
数据目录
本节主要介绍数据目录监控信息。在“监控”页面点击“数据目录”,可以查看对应数据目录的实时监控信息:数据目录容量、数据目录已用容量、数据目录使用率、容量配额、已用容量配额、容量配额使用率、健康状态、健康详情。说明对于单机版,可以根据健康状态,选择查看对应数据目录的信息。对于集群版,可以根据存储池名称或者健康状态,选择查看对应数据目录的信息。图1 数据目录实时监控信息(单机版)图2 数据目录实时监控信息(集群版)项目描述数据目录具体数据目录路径。数据目录容量数据目录所在磁盘的容量。

来自：
帮助文档
存储资源盘活系统
用户指南
运维
监控
数据目录
数据架构
本章节主要介绍数据架构相关问题。码表和数据标准有什么关系? 码表的组成:码表由多条表字段的名称+编码+数据类型组成。码表与数据标准的关系:码表的表字段可以关联到数据标准上,数据标准会应用到某张模型表的字段上。关系建模和维度建模的区别? 关系建模为事务性模型,对应三范式建模。维度建模为分析性模型,主要包括事实表、维度表的设计,多用于实现多角度、多层次的数据查询和分析。 DataArts Studio是基于数据湖的数据运营平台,维度建模使用的场景比较多。数据架构支持哪些数据建模方法?

来自：
帮助文档
数据治理中心 DataArts Studio
常见问题
操作类
数据架构
数据目录
本章节主要介绍数据目录的数据目录。通过数据目录可以对资产进行搜索、过滤、查看详情、查看血缘、查看关系、添加分类与标签等操作。资产搜索通过资产名称和描述的关键字或按所有属性搜索资产,支持模糊搜索。 1.在DataArts Studio控制台首页,选择实例,点击“进入控制台”,选择对应工作空间的“数据目录”模块,进入数据目录页面。详见下图: 选择数据目录 2.选择“数据地图 > 数据目录”。 3.在资产搜索输入框输入需要查找的数据关键字进行搜索,搜索结果以列表方式显示。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据目录
数据地图
数据目录
新建数据标准
本章节主要介绍新建数据标准。数据标准是用于描述公司层面需共同遵守的数据含义和业务规则,它描述了公司层面对某个数据的共同理解,这些理解一旦确定下来,就应作为企业层面的标准在企业内被共同遵守。数据标准,也称数据元,由一组属性规定其定义、标识、表示和允许值的数据单元,是不可再分的最小数据单元。您可以将数据标准关联到各个业务上的数据库中。其中,标识符、数据类型、表示格式、值域是数据交换的基础,它们用于描述表的字段元信息,规范字段所存储的数据信息。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据架构
标准设计
新建数据标准
数据对比任务
本章节为您介绍数据安全专区的数据对比任务。 “数据对比任务”页面用于比较生产源和对比目标,轻松发现目标数据是否脱敏;也可用于验证数据脱敏处理效果,即对比脱敏前后的数据差异。注意目前,系统仅支持对比同构数据库中的敏感字段,自动跳过非敏感字段,且表名及表所含字段名完全相同才算匹配上。不支持对比主键经过脱敏的数据。新增数据对比任务1.使用系统管理员登录数据脱敏实例。2.在左侧导航栏选择“数据对比 > 数据对比任务 ”,进入“数据对比任务”页面。

来自：
帮助文档
数据安全专区
用户指南
数据脱敏操作指导
数据对比任务
数据安全
在数字化时代,数据已成为企业的重要资产。确保数据的安全性对于保护企业的商业机密、维护客户信任以及满足法规要求至关重要。天翼云提供了全面的数据安全解决方案,帮助用户保障数据的完整性、机密性和可用性。数据完整性数据完整性是指数据在存储和传输过程中保持准确和一致,未被未经授权的修改或损坏。天翼云通过以下几种技术确保数据的完整性。数据三副本技术数据三副本技术是一种在分布式存储系统中使用的数据冗余技术。它的原理是将数据分块后的三个副本保存在集群中不同的节点上,以提高数据的可靠性和容错性。

来自：
帮助文档
弹性云主机
安全合规
数据安全
冷热数据分离
本节主要介绍冷热数据分离。 GeminiDB Influx在同一数据保留策略(Retention Policy,简称RP,包含数据保留时长,备份个数等信息)里实现了冷热数据分离,系统会根据RP中用户设置的冷热数据分界线自动将符合转冷条件的热数据归档到冷存储中。背景在海量大数据场景下,时序数据冷热分明,即随着时间推移历史的时序数据被查询和分析的概率越低,同时因为这些数据占用量比较大,降低这部分冷数据的存储容量将会极大的节省企业的成本。

来自：
帮助文档
云数据库GeminiDB
GeminiDB Influx接口
用户指南
冷热分离
冷热数据分离
查看数据血缘
本章节主要介绍通过数据地图查看数据血缘关系的查看数据血缘。当数据开发模块中的作业已完成血缘关系配置后,启动作业调度,并在数据目录模块进行元数据采集任务,则可以在数据目录模块可视化查看数据血缘关系。前提条件已完成血缘关系的自动配置或手动配置,请参见配置数据血缘。启动作业调度登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据目录
使用教程
通过数据地图查看数据血缘关系
查看数据血缘
查看数据血缘
本章节主要介绍节点数据血缘的查看数据血缘。当数据开发模块中的作业已完成血缘关系配置后,启动作业调度,并在数据目录模块进行元数据采集任务,则可以在数据目录模块可视化查看数据血缘关系。前提条件已完成血缘关系的自动配置或手动配置,请参见配置数据血缘。启动作业调度 1.登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据开发
节点参考
节点数据血缘
查看数据血缘
任务搜索
本节为您介绍数据库迁移工具提供任务搜索功能。数据库迁移工具提供任务搜索功能,用户可根据任务名称、状态、任务时间、是否配置增量、是否配置吉和修复筛选出想要查看的迁移任务。

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据迁移
任务搜索
数据源
本小节介绍日志审计(原生版)数据源用户指南。数据源是获取需要展示日志/告警字段条件数据,配置后可在报表中选择并通过图表的形式展示。新增数据源 1.登录日志审计(原生版)控制台。 2.在左侧导航栏选择“审计报表 > 数据源”,进入“数据源”页面。 3.单击“新增”,并填写新增数据源的相关参数。参数参数说明取值样例数据源名称自定义需要创建的数据源名称。 Test 是否抽样统计确认是否使用抽样统计,不选择默认为“是”。

来自：
帮助文档
日志审计（原生版）
用户指南
审计报表
数据源
查看数据类
当数据类较多时,可以通过搜索功能,选择数据类的“名称”、“业务编码”、“内置”或者“描述”,并在搜索框中输入关键词,单击,即可快速查询指定数据类。参数名称参数说明名称数据类的名称。业务编码数据类的业务编码。内置是否为系统内置数据类。创建人数据类的创建人信息。创建时间数据类的创建时间。更新时间数据类的更新时间。描述数据类的具体描述信息。操作可对数据类进行编辑、删除等操作。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
安全编排
运营对象管理
查看数据类
开启数据消费
在左侧数据空间导航栏中,单击数据空间名称,展开数据管道列后,单击目标管道名称后的“更多> 数据消费”,进入数据消费页面。在数据消费页面中,单击当前状态后的,开启数据消费。开启后,将显示消费配置信息,具体说明如下表所示。参数名称参数说明当前状态当前管道中数据消费配置状态。管道名称当前数据管道的名称。订阅器系统预制的订阅模式,决定数据如何传递给消费者。访问节点当前数据的访问节点。相关操作数据消费开启后,如需关闭,则可在数据消费页面,单击“当前状态”后的,关闭数据消费。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
日志审计
安全分析
开启数据消费
查看监控数据
本文介绍数据库审计的监控指标以及如何查看数据库审计的监控数据。为保证数据库审计实例的可靠性、可用性和可观测性,对数据库审计进行监控已经成为一种必要且重要的手段。天翼云控制平台提供的数据库审计监控功能,可方便用户更快、更直观的了解数据库审计的运行情况、使用情况及其他性能指标,同时可根据实时监控情况,执行告警通知等操作,帮助客户更好的管理数据库审计实例。当用户开通数据库审计服务后,即可通过云监控来查看监控指标。说明目前仅支持监控“一类节点”区域的实例。数据库审计支持的区域请参见支持的区域。

来自：
帮助文档
数据库审计
用户指南
使用云监控服务监控数据库审计实例
查看监控数据
导入数据
前提条件待导入的数据已存储到OBS上。导入数据步骤导入数据的入口有两个,分别在“数据管理”和“SQL编辑器”页面。在“数据管理”页面导入数据。 a. 在管理控制台的左侧,选择“数据管理”>“库表管理”。 b. 单击需导入数据的表对应的数据库名称,进入该数据库的“表管理”页面。 c. 在目标表“操作”栏中选择“更多”中的“导入”,弹出“导入数据”页面。在“SQL编辑器”页面导入数据。 a. 在管理控制台的左侧,单击“SQL编辑器”。 b.

来自：
帮助文档
数据湖探索
用户指南
数据管理
库表管理
导入数据
搭建Spark应用
相比于Hadoop Map-Reduce计算框架,Spark将中间计算结果保留在内存中,速度提升10~100倍;同时它还提供更丰富的算子,采...数据集(RDD)实现迭代计算,更好地适用于数据挖掘、机器学习算法,极大提升开发效率。前提条件确保您已经创建Serverless集群,具体操作请参阅创建Serverless集群。确保kubectl工具已经连接目标集群。操作步骤步骤一:准备镜像和创建命名空间namespace 从dockerHub镜像仓库获取Spark相关镜像。

来自：
帮助文档
云容器引擎 Serverless版
最佳实践
搭建Spark应用
新增数据投递
参数名称参数说明投递类型数据投递类型,默认显示为PIPE,即默认从态势感知(专业版)管道投递。区域当前管道所在区域。工作空间当前管道所属的工作空间。数据空间当前管道所属的数据空间。管道管道的名称数据位置策略当前管道中数据位置的策略。读取身份数据源读取身份信息说明。配置数据目的,请根据投递目的进行配置。PIPE:将当前管道数据投递到本账号其他管道或其他账号的管道中,请根据您的需要进行选择配置。本账号投递:将当前管道数据投递到本账号的其他管道中,参数配置说明如下表所示。

来自：
帮助文档
态势感知（专业版）（新版）
用户指南
日志审计
数据投递
投递日志数据至其他数据管道
新增数据投递
数据存储
本文主要介绍云日志服务中数据存储常见问题。云日志服务中的数据可以保存多久? 云日志服务的数据支持1-365天的保存自定义设置,超过保存时间设定数据将会被丢弃。日志项目或日志单元数据在删除后是否可找回? 日志项目和日志单元的数据在执行删除操作后,会进行任务调度删除,不可找回。请您谨慎操作,并注意保管平台的账号密码防止恶意破坏。日志数据是否安全存储?

来自：
帮助文档
云日志服务
常见问题
数据存储
数据对比类
本页为数据对比类常见问题。内容级对比有哪些不支持的数据类型? 以下数据类型的字段不会参与对比: 源数据库为MySQL:TINYBLOB、BLOB、MEDIUMBLOB、LONGBLOB、TINYTEXT、TEXT、MEDIUMTEXT、LONGTEXT; 源数据库为PostgreSQL:用户自定义的DOMAIN或者TYPE类型。内容对比会自动跳过以下特征的表: 表为空表,无数据。不具有主键、唯一字段、唯一索引。主键、唯一字段、唯一索引组成字段为多字段的复合类型。

来自：
帮助文档
数据传输服务DTS
常见问题
数据对比类
数据资产目录
本章节为您介绍数据资产目录相关能力。数据资产目录集中展示数据分类分级结果。展示范围主要是已同步并完成分类分级任务的数据源,不包括未同步的数据源;针对已同步但未完成分类分级任务的数据源,只展示数据库结构信息(表、字段名等),分类分级相关信息由于尚未形成,相关统计数据显示默认值0。每张卡片的展示字段包括:数据表名、数据表注释、数据源、主机、库名、Schema、行业模板、分类、分级、是否梳理、业务系统、部门、责任人、最后梳理时间、字段数、敏感字段数、已梳理占比等。

来自：
帮助文档
数据安全专区
用户指南
数据分类分级操作指导
数据资产管理
数据资产目录
数据安全
使用虚拟私有云可以让租户配置入站IP地址范围,这样就能够控制可以连接数据库的IP地址段。同时,RDS-PostgreSQL实例可以运行在租户独立的虚拟私有云内,这样就能够提升数据库实例的安全性。通过综合运用子网和安全组的配置,可以进一步实现对关系数据库实例的网络隔离。数据销毁在删除关系数据库PostgreSQL版实例时,存储在数据库实例中的数据都会被删除,并且不会被恢复或重新创建。安全删除不仅包括数据库实例所挂载的磁盘,同时还包括备份数据的存储空间。

来自：
帮助文档
关系数据库PostgreSQL版
产品介绍
产品优势
数据安全
创建数据密钥
创建客户端CEK数据密钥,用来对数据库用户数据加解密。

来自：
帮助文档
分布式融合数据库HTAP
私有云产品
开发手册
全密态
创建数据密钥
补数据监控
本章节主要介绍运维调度的补数据监控。在数据开发模块控制台的左侧导航栏,选择“运维调度 > 补数据监控”,进入补数据的任务监控页面。用户可以在补数据监控主页,查看补数据的任务状态、业务日期、并行周期数、补数据作业名称,以及停止运行中的任务。在补数据监控主页,单击补数据名称,进入补数据监控详情页面。在此页面,用户可以查看补数据的任务执行情况,以及手动干预实例和节点的执行(如需了解更多,请参见批作业监控章节中的补数据 )。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据开发
运维调度
补数据监控

天翼云最新活动

11.11智惠上云月

爆款云主机2核2G28.8元/年起！更有限时续费优惠，最低3.5折！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云AI产品特惠

人脸识别+文字识别焕新，新用户免费试用

中小企业服务商合作专区

国家云助力中小企业腾飞，高额上云补贴重磅上线

出海产品促销专区

爆款云主机低至2折，高性价比，不限新老速来抢购！

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

物理机

多活容灾服务

GPU云主机

弹性伸缩服务

天翼云CTyunOS系统

AI Store

算力互联调度平台

模型推理服务

应用托管

推荐文档

成员权限

编辑备份集

生产者

云课堂第五课：CC攻击介绍及如何防御

活动

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

物理机

多活容灾服务

GPU云主机

弹性伸缩服务

天翼云CTyunOS系统

AI Store

算力互联调度平台

模型推理服务

应用托管

推荐文档

成员权限

编辑备份集

生产者

云课堂 第五课：CC攻击介绍及如何防御

云课堂第五课：CC攻击介绍及如何防御