数据集成工具_数据集成工具文档介绍内容-天翼云

产品定义
适用场景如应用程序的配置文件、日志文件等需要共享的文件数据以及在容器化应用中支持多个容器实例之间的数据共享和同步。如大数据分析,数据湖,数据备份和归档等大规模数据存储和分析场景;静态网站托管解决方案存储。如作为弹性云主机或物理机的数据存储介质进行数据存储和持久化;大规模数据处理与分布式计算等高性能计算场景。容量弹性文件服务可按需扩展,单文件系统容量默认最大为32TB。如需更大容量的文件系统,可提工单申请。对象存储服务没有容量限制,存储资源可无限扩展。

来自：
帮助文档
云硬盘
产品介绍
产品定义
对比同步项
本节主要介绍对比同步项对比实时同步项可以清晰反馈出源数据库和目标数据库的数据是否存在差异。为了尽可能减少业务的影响和业务中断时间,实时同步场景提供了对象级对比和数据级对比功能,帮助您确定合适的业务割接时机。对象级对比:支持对数据库、索引、表、视图、表的排序规则等对象进行对比。数据级对比:支持对表的行数和内容进行对比。说明全量同步中的任务无法进行数据级对比。如果单独对目标库进行数据修改操作,有可能数据检验不准确。如果源库进行DDL操作,为保证对比结果的准确性,需重新进行内容对比。

来自：
帮助文档
数据库复制
用户指南
实时同步
任务管理
对比同步项
GeminiDB Redis支持的监控指标
redis_node_id 云数据库GaussDB Redis版数据库实例的节点ID。

来自：
帮助文档
云数据库GeminiDB
GeminiDB Redis接口
用户指南
监控与告警
GeminiDB Redis支持的监控指标
编辑迁移任务
全部迁移:将源数据库中的所有对象全部迁移至目标数据库,对象迁移到目标数据库实例后,对象名将会保持与源数据库实例对象名一致且无法修改。表级迁移:将选择的表级对象迁移至目标数据库。库级迁移:将选择的库级对象迁移至目标数据库。如果有切换源数据库的操作或源库迁移对象变化的情况,请务必在选择迁移对象前单击右上角,以确保待选择的对象为最新源数据库对象。说明若选择部分数据库进行迁移时,由于存储过程、视图等对象可能与其他数据库的表存在依赖关系,若所依赖的表未迁移,则会导致迁移失败。

来自：
帮助文档
数据库复制
用户指南
实时迁移
任务管理
编辑迁移任务
分片策略
如: 数据库的数据需要按区域进行隔离,但隔离后的数据量依然巨大需要按取模方式进行再次分片,可以选择此算法。

来自：
帮助文档
分布式关系型数据库
最佳实践
分片策略
升级集群
−业务影响:在此期间,数据库无法访问。如果升级源版本为8.1.1及以上版本,则支持在线升级,升级期间不要求用户停止业务,业务存在秒级闪断,建议在业务低峰期进行。设置可维护时间段 1.登录DWS 管理控制台。 2.单击“集群管理”。 3.在集群列表中,单击指定集群的名称,将显示集群的“集群详情”页面。在“集群详情”页面的“基本信息”区域,可以查看“可维护时间段”。 4.在“可维护时间段”右侧,单击“设置”。 5.在弹出对话框中,设置可维护时间段。 6.单击“确定”。

来自：
帮助文档
数据仓库服务
用户指南
集群运维
升级集群
新建对账作业
数据对账对于数据开发和数据迁移流程中的数据一致性至关重要,而跨源数据对账的能力是检验数据迁移或数据加工前后是否一致的关键指标。数据质量监控中的对账作业支持跨源数据对账能力,可将创建的规则应用到两张表中进行质量监控,并输出对账结果。前提条件在DataArts Studio控制台的数据质量模块,“数据质量监控 > 对账作业”页面创建归属目录。基于某个数据连接创建对账作业,需要选择作业归属目录,请参见下图创建归属目录。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据质量
数据质量监控
新建对账作业
服务器（集群版适用）
数据目录使用率所有数据目录所在磁盘使用率的平均值。容量配额使用率HBlock所有数据目录容量配额使用率的平均值。HBlock服务器HBlock服务器的性能。CPU使用率服务器CPU使用率。内存使用量服务器内存使用量。内存总量服务器内存总量。数据目录使用量数据目录所在磁盘使用量的总和。数据目录总容量数据目录所在磁盘容量的总和。配额使用量HBlock已使用容量配额。配额HBlock容量配额总和。客户端<-->HBlock当前服务器上,客户端与HBlock之间的数据传输情况。

来自：
帮助文档
存储资源盘活系统
用户指南
运维
监控
服务器（集群版适用）
使用MySQL命令行公网连接实例
建议您下载的MySQL客户端版本高于已创建的RDS实例中数据库版本。 SSL连接 1、登录管理控制台。 2、单击管理控制台左上角的,选择区域和项目。 3、选择“数据库> 关系型数据库”。进入关系型数据库信息页面。 4、单击实例名称进入“基本信息”页面。 5、在“数据库信息”模块的“SSL”处,查看SSL开关状态。开关打开。 6、单击“SSL”处的,下载“Certificate Download”压缩包,解压后获取根证书(ca.pem)和捆绑包(ca-bundle.pem)。

来自：
帮助文档
关系数据库MySQL版
用户指南
连接实例
使用MySQL命令行公网连接实例
参数调优
本节主要介绍参数调优数据库参数是数据库系统运行的关键配置信息,设置不合适的参数值可能会影响业务。本文列举了一些重要参数说明。更多参数的详细说明请参见MongoDB官网。如需通过控制台界面修改参数值,请参见编辑参数模板。 enableMajorityReadConcern 该参数表示读取数据时,是否需要从大多数节点获取一致的数据后才返回结果。默认值为 “ false ” , 表示读取数据时,不需要从大多数节点获取一致数据后返回结果,即从单个节点上读取数据就可以返回结果。

来自：
帮助文档
文档数据库服务
用户指南
性能调优
参数调优
创建MySQL连接器
mysqllink 数据库服务器 MySQL数据库的IP地址或域名。 192.168.1.110 端口 MySQL数据库的端口。 3306 数据库名称 MySQL数据库的名称。 sqoop 用户名拥有MySQL数据库的读、写和删除权限的用户。 admin 密码用户的密码。 - 使用本地API 使用数据库本地API加速(系统会尝试启用MySQL数据库的local_infile系统变量)。是使用Agent 是否选择通过Agent从源端提取数据。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据集成
使用教程
创建MySQL连接器
概述
本文主要介绍概述概述 APM Agent会周期性采集一些性能指标数据,用来衡量应用的总体健康状况。可以采集JVM、GC、服务调用、异常、外部调用、数据库访问以及其他中间件的指标调用等数据,帮助用户全面掌握应用的运行情况。 APM对指标数据的采集有严格的定义,每一种采集的数据类型对应一个采集器,比如采集java应用的JVM数据,那么对应有JVM采集器,一个采集器会采集多个指标集的数据。采集器被部署到环境后形成监控项,在数据采集的时候监控项决定了采集的数据结构和采集行为。

来自：
帮助文档
应用性能管理
用户指南
应用指标监控
概述
修改RDS for PostgreSQL实例参数
本章节会介绍RDS for PostgreSQL如何修改实例参数为确保关系型数据库服务发挥出最优性能,用户可根据业务需求对用户创建的参数模板中的参数进行调整。您可以修改用户创建的数据库参数模板中的参数值,但不能更改默认数据库参数模板中的参数值。对用户创建的参数模板参数模板中的参数所做的更改,将应用于与此数据库参数模板关联的所有数据库实例。如果您更改一个参数值,则所做更改的应用时间将由该参数的类型决定。关系型数据库服务的管理控制台显示与数据库实例关联的数据库参数模板的状态。

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
参数模板管理
修改RDS for PostgreSQL实例参数
概览
数据取回低频访问存储类型的文件在查看和下载时产生的从OOS服务端读取数据的数据量。精品网下行流量(香港)通过精品网下载文件的数据流量。普通网下行流量(香港)通过普通网下载文件的数据流量。点击该页面的“当月关键数据”(统计时间范围为北京时间当前月份的1号00:00至当前时刻的能获取到的最后一个数据),可用查看各数据位置当月的标准存储(峰值)、低频访问存储(峰值)、互联网下行流量、请求次数、数据取回。如果是香港节点,还会显示精品网下行流量、普通网下行流量。

来自：
帮助文档
对象存储（经典版）I型
控制台指南
统计概览
概览
锁&事务
InnoDB锁等待该功能展示了当前时刻(实时)数据库的DML操作之前的锁等待的信息,可以快速帮助定位多个会话因同时更新同一条数据,而产生的会话等待和阻塞,并且支持快速终止持有锁的源头会话,从而恢复被阻塞的操作。说明DDL锁(Metadata Lock, MDL),不在当前功能的范围之内,可以使用元数据锁进行分析和查看。操作步骤 1、登录管理控制台。单击管理控制台左上角的,选择区域和项目。单击页面左上角的,选择“数据库 > 数据管理服务 DAS”,进入数据管理服务页面。

来自：
帮助文档
数据管理服务
用户指南
DBA智能运维
MySQL
锁&事务
按位点查询
以下是一些常见的按点位查询的场景描述: 数据回溯:当需要回溯到过去的某个时间点或特定的消息偏移量时,可以使用按点位查询功能。这在故障排查、数据分析和报告生成等场景中非常有用,可以准确地获取特定时间点或消息的数据。数据恢复:在某些情况下,如果由于意外情况导致数据丢失或损坏,可以使用按点位查询来恢复丢失的数据。通过指定偏移量或时间戳,可以定位到丢失数据之前的位置,然后将数据重新消费或导出。数据验证:按点位查询还可以用于数据验证和一致性检查。

来自：
帮助文档
分布式消息服务Kafka
用户指南
消息查询
按位点查询
通过kafka导入日志
参数说明接入配置名称导入任务的唯一标识Kafka 实例选择kafka实例作为数据源Topic 列表选择Kafka主题,当前仅支持导入公有Topic消费组选择kafka中的消费组,起始位置选择开始导入数据的位置。最早:从已有的第一条Kafka数据开始导入最晚:从最近生成的Kafka数据开始导入数据格式待导入数据的格式。若您选择JSON字符串,导入任务会将原始数据解析为key-value对格式,只解析到第一层。编码格式选择导入数据的编码格式(即字符集),目前仅支持UTF-8和GBK。创建索引。

来自：
帮助文档
云日志服务
用户指南
日志接入
其他接入方式
通过kafka导入日志
概述
VPC网络安全策略放通需要在其他云数据库实例所在的VPC放通DTS数据迁移实例中配置的公网IP的访问权限,一般包括网络ACL和实例安全组,具体可参考各厂商云数据库官方文档进行操作。数据库添加白名单数据库需要添加DTS数据迁移实例中配置的公网IP远程访问数据库的权限。不同类型的数据库添加白名单的方法可能不一样,具体可参考各数据库官方文档进行操作。源库处理登录其他云PostgreSQL所属的服务器。

来自：
帮助文档
数据传输服务DTS
最佳实践
其他云PostgreSQL迁移到RDS for PostgreSQL
概述
切换可用性策略
可靠性优先(默认选择):数据库应该尽可能保障数据的可靠性,即数据丢失量最少。对于数据一致性要求较高的业务,建议选择该策略。可用性优先:数据库应该可快恢复服务,即可用时间最长。对于数据库在线时间要求较高的业务,建议选择该策略。步骤 6 在实例的“基本信息”页面,查看修改结果。

来自：
帮助文档
关系数据库SQL Server版
用户指南
管理数据库实例
切换可用性策略
切换可用性策略
可靠性优先(默认选择):数据库应该尽可能保障数据的可靠性,即数据丢失量最少。对于数据一致性要求较高的业务,建议选择该策略。可用性优先:数据库应该可快恢复服务,即可用时间最长。对于数据库在线时间要求较高的业务,建议选择该策略。步骤 6 在实例的“基本信息”页面,查看修改结果。

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
管理数据库实例
切换可用性策略
自建SQL Server迁移至自建MySQL
密码用于连接待目标端数据库的用户的密码数据库目标端用于接收源端数据的数据库名称

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据迁移
任务创建
自建SQL Server为源的迁移任务配置
自建SQL Server迁移至自建MySQL
自建PostgreSQL迁移至自建MySQL
密码用于连接待目标端数据库的用户的密码数据库目标端用于接收源端数据的数据库名称

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据迁移
任务创建
自建PostgreSQL为源的迁移任务配置
自建PostgreSQL迁移至自建MySQL
功能特性
数据加解密提供重要数据的加密和解密服务,满足密评中对重要数据传输和存储的机密性要求,基于数据加密技术,能够在数据进入数据库之前对其进行加密处理,从而确保数据的机密性和完整性。签名验签提供重要数据的签名和验签服务,满足密评中对重要数据传输和存储的完整性要求以及操作的不可否认性要求。密钥管理提供集中的密钥全生命周期管理服务,满足密评中对密钥管理的安全性要求。安全传输提供网络通信通道的加密服务,满足密评中对网络和通信安全层面的数据传输机密性和完整性要求。

来自：
帮助文档
云密评专区
产品介绍
功能特性
产品定义
本章节主要介绍产品定义数据管理服务(Data AdminService,简称DAS),是一种基于管理控制台提供数据管理、结构管理、会话以及用户管理的服务,方便用户高效管理和安全使用数据。目前可支持关系型数据库MySQL、关系型数据库SQL Server 、关系型数据库PostgreSQL、分布式关系型数据库DRDS、文档数据库DDS。

来自：
帮助文档
数据管理服务
产品简介
产品定义
桌面管理
注意由于退订/删除操作会导致数据盘清理,数据盘数据将无法恢复,因此,在退订/删除前请您做好数据备份工作。通过资源包开通的数据盘,进行删除数据盘会直接将存储资源释放回资源包;通过单实例开通的数据盘,进行退订数据盘将根据使用时长扣除已消费金额,余额将原路返还到您的付款账户;通过其他渠道开通的数据盘,如需退订数据盘请咨询对应受理渠道。

来自：
帮助文档
天翼云电脑（政企版）
管理员指南
桌面管理
新建码表
通过逆向数据库导入码表通过逆向数据库,您可以从其他数据源中将一个或多个已创建的数据库表导入到码表目录中,使其变成码表。 1.在数据架构控制台,单击左侧导航树中的“码表管理”,进入码表管理页面。 2.在左侧的码表目录树中,选中一个目录,然后在码表列表上方,单击“逆向数据库”。 3.在“逆向数据库”对话框中,配置如下参数,然后单击“确定”。参数名称说明数据连接类型在下拉列表中将显示逆向数据库支持的数据连接类型,请选择所需要的数据连接类型。数据连接选择数据连接。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据架构
标准设计
新建码表
自建Oracle迁移至自建PostgreSQL
用户名用于连接待目标端数据库的用户名称密码用于连接待目标端数据库的用户的密码数据库目标端用于接收源端数据的数据库名称模式目标端用于接收源端数据的模式(schema)名称

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据迁移
任务创建
自建Oracle为源的迁移任务配置
自建Oracle迁移至自建PostgreSQL
账号安全最佳实践
账号安全的重要性云时代中,越来越多的业务选择上云,然而云账号面临各种各样的安全威胁,密码泄露、账号共享、数据丢失、外部攻击等等。一旦出现这类安全威胁,可能会导致数据丢失,严重情况甚至导致高额财产损失。安全设置最佳实践 1、加强账号密码管理安全性高的密码可以使帐号更安全。请尽量避免使用弱密码,建议密码长度超过14个字符,不使用键盘排列字符( 如qwert,asdf等) ,避免使用电话号码、身份证号、邮箱等与个人信息有明显联系的数据做密码。

来自：
帮助文档
账号中心
操作指南
安全信息管理
账号安全最佳实践
操作类
如何为云主机增加数据盘?系统盘在创建云主机时自动创建并挂载,无法单独购买。数据盘可以在购买云主机的时候购买,由系统自动挂载给云主机。也可以在购买了云主机之后,单独购买磁盘并挂载给云主机。对于Windows系统:如果数据盘是随云主机一起订购的,则需要登录云主机对数据盘进行初始化,初始化成功后可以看到数据盘(例如D盘)。如果数据盘是单独订购的,则需要挂载至云主机,然后登录云主机对数据盘进行初始化,初始化成功后可以看到数据盘(例如D盘)。

来自：
帮助文档
专属云（存储独享型）
常见问题
操作类
设置自动备份策略
操作场景创建关系型数据库实例时,系统默认开启自动备份策略。实例创建成功后,您可根据业务需要设置自动备份策略。关系型数据库服务按照用户设置的自动备份策略对数据库进行备份。关系型数据库服务的备份操作是实例级的,而不是数据库级的。当数据库故障或数据损坏时,可以通过备份恢复数据库,从而保证数据可靠性。备份以压缩包的形式存储在对象存储服务上,以保证用户数据的机密性和持久性。由于开启备份会损耗数据库读写性能,建议您选择业务低峰时间段设置自动备份。

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
备份与恢复
设置自动备份策略
功能特性
支持对数据库运行情况进行实时监控,提供物理数据库运行中语句、连接数统计及锁情况实时监控功能,在数据库资源被大量慢语句占用时,通过批量kill连接功能可快速恢复数据库服务。运维管理可视化 DRDS提供Console界面,可在线对DRDS实例、逻辑库等进行管理和维护。

来自：
帮助文档
分布式关系型数据库
产品介绍
功能特性
产品定义
日志查询与实时分析对采集的日志数据,可以通过关键字查询、模糊查询等方式简单快速地进行查询,适用于日志实时数据分析、安全诊断与分析、运营与客服系统等,例如云服务的访问量、点击量等,通过日志数据分析,可以输出详细的运营数据。日志转储主机和云服务的日志数据上报至云日志服务后,默认存储时间为30天。超出存储时间的日志数据将会被自动删除,对于需要长期存储的日志数据(日志持久化),云日志服务提供转储功能,可以将日志转储至对象存储服务(OBS)中长期保存。

来自：
帮助文档
云日志服务
产品简介
产品定义

天翼云最新活动

618智算钜惠季

爆款云主机2核4G限时秒杀，88元/年起！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云脑AOne

连接、保护、办公，All-in-One！

中小企业应用上云专场

产品组合下单即享折上9折起，助力企业快速上云

息壤高校钜惠活动

天翼云息壤杯高校AI大赛，数款产品享受线上订购超值特惠

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

弹性云主机

轻量型云主机

弹性高性能计算

一体化计算加速平台·异构计算

科研助手

算力互联调度平台

一站式智算服务平台

人脸实名认证

人脸比对

推荐文档

其他问题

性能瓶颈定界

产品功能

续订

云课堂第二十课：巧用天翼云盘备份云主机数据

活动

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

弹性云主机

轻量型云主机

弹性高性能计算

一体化计算加速平台·异构计算

科研助手

算力互联调度平台

一站式智算服务平台

人脸实名认证

人脸比对

推荐文档

其他问题

性能瓶颈定界

产品功能

续订

云课堂 第二十课：巧用天翼云盘备份云主机数据

云课堂第二十课：巧用天翼云盘备份云主机数据