数据集成工具_数据集成工具文档介绍内容-天翼云

云实例间迁移
分布式消息服务Kafka提供全托管、免运维的云实例间迁移服务,用于同云实例与分布式消息服务Kafka实例之间的数据同步。本文介绍云实例间迁移的源实例类型、使用限制以及使用流程。背景信息云实例间迁移可以把天翼云分布式消息服务Kafka集群的元数据(Topic、Group和SASL User信息)、消息数据和点位信息同步到目标集群,迁移完成后目标集群的元数据与原集群的元数据保持一致,并且支持持续更新和完成后自动停止任务。

来自：
帮助文档
分布式消息服务Kafka
用户指南
集群迁移
云实例间迁移
方案正文
3、在页面左上角单击,选择“数据库 > 数据复制服务”。进入数据库复制页面。

来自：
帮助文档
关系数据库SQL Server版
最佳实践
通过DRS备份迁移SQL Server
方案正文
插入变量
SHA-384:对输入的数据进行SHA-384加密,返回加密后的数据字符串。 SHA-512:对输入的数据进行SHA-512加密,返回加密后的数据字符串。 BASE64编码:对输入的数据进行BASE64编码,返回编码后的数据字符串。 BASE64解码:对输入的数据进行BASE64解码,返回解码后的数据字符串。

来自：
帮助文档
性能测试PTS
用户指南
测试用例管理
设置全局变量
插入变量
将PostgreSQL同步到PostgreSQL
冲突策略目前支持如下形式:l 忽略当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将跳过冲突数据,继续进行后续同步。l 报错当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),同步任务将失败并立即中止。l 覆盖当同步数据与目标数据库已有数据冲突时(主键/唯一键存在重复等),将覆盖原来的冲突数据。对象同步范围对象同步范围支持选择普通索引、增量DDL同步和全量阶段填充物化视图,您可以根据业务需求选择是否进行同步。

来自：
帮助文档
数据库复制
用户指南
实时同步
入云
将PostgreSQL同步到PostgreSQL
数仓分层
功能概述数仓分层是结合对业务场景、实际数据、使用系统的综合分析,对数据模型进行的整体架构设计及物理层的详细划分。用于将不同用途的数据,归类划分至不同的分层,便于您更好地组织、管理、维护数据。数仓分层还用于规范表模型的命名。规划数仓分层系统默认创建的数仓分层有: 数据引入层ODS ODS层用于接收并处理需要存储至数据仓库系统的原始数据,其数据表的结构与原始数据所在的数据系统中的表结构一致,是数据仓库的数据准备区。维度层DIM DIM层使用维度构建数据模型。

来自：
帮助文档
大数据管理平台 DataWings
用户指南
数据建模
数仓规划
数仓分层
功能特性
但因为文件系统的限制,恢复数据后,数据盘容量为未扩容前的容量,建议在扩容后重新做备份,扩容后的数据盘在做备份时仍为增量备份。目前暂不支持系统盘备份的恢复操作。基于备份创建新的数据盘创建的磁盘备份不仅可以恢复到源盘中,还可基于该备份创建新的数据盘。创建数据盘时可在创建页面勾选“从备份创建”选项,即将备份数据复制到新盘中。目前基于系统盘备份创建的磁盘仅支持作为数据盘挂载到云主机上。

来自：
帮助文档
云硬盘备份
产品简介
功能特性
云审计服务支持的DLI操作列表说明
云审计服务支持的DLI操作列表操作名称资源类型事件名称创建数据库 database createDatabase 删除数据库 database deleteDatabase 修改数据库所有者 database alterDatabaseOwner 创建表 table createTable 删除表 table deleteTable 导出表数据 table exportData 导入表数据 table importData 修改表的所有者 table

来自：
帮助文档
数据湖探索
用户指南
其他常用操作
云审计服务支持的DLI操作列表说明
概述
通过多项指标和数据的对比分析,可以帮助您实现不同业务系统间的数据实时同步。使用流程数据灾备的使用流程如下: 步骤一:创建灾备任务。根据需要,选择业务数据库和灾备数据库,创建灾备任务。步骤二:查询灾备进度。灾备过程中,可以通过查看灾备进度了解数据灾备完成情况。步骤三:查看灾备日志。灾备日志包含告警、错误和提示等类型的信息,可根据此类信息分析系统存在的问题。步骤四:对比灾备项。数据灾备提供对比功能,可根据需要查看对象级对比、数据级对比等,来确保业务数据库和灾备数据库的数据一致性。

来自：
帮助文档
数据库复制
快速入门
创建数据库复制实时灾备
概述
云硬盘服务
同时,云硬盘具有更高的数据可靠性,更高的I/O吞吐能力和更加简单易用等特点,适用于文件系统、数据库或者其他需要块存储设备的系统软件或应用。通过云审计服务,您可以记录与云硬盘相关的操作事件,便于日后的查询、审计和回溯。

来自：
帮助文档
云审计
用户指南
支持审计的服务及详细操作列表
存储
云硬盘服务
流量监控
本节主要介绍流量监控类问题 Pod刚刚启动后,为什么不能立即看到流量监控数据? 流量监控对采集到的数据进行了聚合处理,需积累一分钟才能看到数据。总览页面,上面的异常响应数据和时延数据,为什么不准确? 异常响应数据和时延数据,是显示您帐户下全部的集群的全部组件的topN数据,且是近一分钟的数据。所以请确保您的组件在近1分钟内,有访问流量产生。流量占比与流量监控图为什么数据不一致? 流量占比的数据是10秒轮询,流量监控是10秒取值。

来自：
帮助文档
应用服务网格
常见问题
流量监控
创建并运行Elasticsearch脱敏任务
创建ES脱敏任务后,可以对指定Elasticsearch数据源中的表/列进行敏感信息脱敏。前提已在“资产列表”中完成了云资源委托授权。已添加了ES资产,具体请参见大数据资产列表章节。已在“敏感数据识别”中完成了敏感数据识别,具体操作请参见创建敏感数据识别任务章节。操作步骤单击左上角的,选择区域或项目。在左侧导航树中,单击,选择“安全>数据安全中心”,进入数据安全中心总览界面。在左侧导航树中选择“数据脱敏”,并选择“ES脱敏”页签,进入ES脱敏页面。将“ES脱敏”开关打开,开启ES脱敏。

来自：
帮助文档
数据安全中心
用户指南
数据隐私保护
数据脱敏
静态脱敏
创建数据脱敏任务
创建并运行Elasticsearch脱敏任务
迁移方案概览
由于安全原因,数据库的IP地址有时不能暴露在公网上,但是选择专线网络进行数据库迁移,成本又高。这种情况下,您可以选用数据复制服务提供的备份迁移,通过将源数据库的数据导出成备份文件,并上传至对象存储服务,然后恢复到目标数据库。备份迁移可以帮助您在云服务不触碰源数据库的情况下,实现数据迁移。常用场景:云下数据库迁移上云。特点:云服务无需碰触源数据库,实现数据迁移。

来自：
帮助文档
数据库复制
用户指南
备份迁移
迁移方案概览
自建MySql为源的订阅任务配置
订阅模式所需权限数据订阅SELECT,开启binlog row模式全局级别:REPLICATION CLIENT,REPLICATION SLAVE 源端配置: 数据源类型选定为MySQL,可订阅版本范围内的MySQL数据库数据服务器IP 待订阅源端数据库的连接IP 端口号待订阅源端数据库的端口用户名用于连接待订阅源端数据库的用户名称密码用于连接待订阅源端数据库的用户的密码数据库要订阅的源端数据库名

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据同步
数据订阅
任务创建
自建MySql为源的订阅任务配置
设置可维护时间段
步骤3:选择“数据库> 关系型数据库”。进入关系型数据库信息页面。步骤4:在“实例管理”页面,单击目标实例名称,进入“基本信息”页面,在“数据库信息”模块的“可维护时间段”处,单击“修改”。步骤5:在“修改可维护时间段”弹框中,选择一个可维护时间段,单击“确定”。说明修改可维护时间段,不影响原有可维护时间段内定时任务的执行时间。

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
管理数据库实例
设置可维护时间段
设置可维护时间段
步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。步骤 4 在“实例管理”页面,单击目标实例名称,进入“基本信息”页面,在“数据库信息”模块的“可维护时间段”处,单击“修改”。步骤 5 在“修改可维护时间段”弹框中,选择一个可维护时间段,单击“确定”。说明修改可维护时间段,不影响原有可维护时间段内定时任务的执行时间。

来自：
帮助文档
关系数据库MySQL版
用户指南
实例管理
设置可维护时间段
SQL规范
规则内容 MySQL数据库默认SQL规范包含43条规则,DRDS数据库默认SQL规范包含27条规则,PostgreSQL数据库默认SQL规范包含53条规则,具体如下表: 规则类型适用的数据库适用的SQL语句规则名称在线/离线规则库MySQL、PostgreSQLCREATE DATABASE限制创建库的字符集离线表MySQL、PostgreSQLCREATE TABLE表要有主键离线MySQL、PostgreSQL表要有备注离线MySQL、PostgreSQL限制表名大小写离线MySQL限制表存储引擎离线

来自：
帮助文档
数据管理服务
用户指南
SQL治理
SQL规范
密钥概述
使用非对称密钥生成数字签名以及验证签名:签名者将验签公钥分发给消息接收者,使用签名私钥,对数据产生签名,并将数据以及签名传递给消息接收者。消息接收者获得数据和签名后,使用公钥针对数据验证签名的合法性。 KMS支持的密钥算法类型钥类型算法类型密钥规格说明用途对称密钥AESAES_256AES对称密钥小量数据的加解密或用于加解密数据密钥。对称密钥SM4SM4国密SM4对称密钥小量数据的加解密或用于加解密数据密钥。

来自：
帮助文档
数据加密
用户指南
密钥管理
密钥概述
实例画像
数据库可用性:数据库服务的连续性,主要检查数据库是否发生过服务中断(如重启、无法响应等)。数据库性能:数据库的关键性能指标平稳,主要检查相关指标均值是否存在波峰,以及资源使用率是否正常。数据库可维护性:数据库的表设计、应用程序逻辑设计的合理性表现,主要检查是否存在非分区大对象、死锁、元数据锁、空间不足等问题。数据库可靠性:数据的可恢复能力达到RPO为0,主要检查数据库的备份策略、主从复制的健康度等。

来自：
帮助文档
数据管理服务
用户指南
智能运维
实例画像
跨源分析问题
如何实现跨数据源查询跨数据源查询步骤如下: 假设数据存放在云上多个不同的地方,例如存放在OBS上。在DLI中创建数据表,数据表对应的位置配置为数据所在的位置,例如OBS的某个桶路径(该数据实际还是在OBS中,不用迁移)。在DLI中编写SQL直接查询分析这些数据。如何实现跨区域访问数据打通不同区域间的VPC网络。在DLI中创建增强型跨源链接,绑定队列。添加DLI的路由。

来自：
帮助文档
数据湖探索
常见问题
操作类
跨源连接相关问题
跨源分析问题
查看/维护存储池
将鼠标放至节点上,可以查看下列信息:名称节点名称,即数据目录路径。类型节点类型:数据目录。服务器ID数据目录所属的服务器ID。数据目录容量数据目录所在磁盘的容量。数据目录已用容量数据目录所在磁盘已用容量。容量配额HBlock的容量配额。已用容量配额HBlock已使用的容量配额。健康状态数据目录的健康状态:健康:数据目录可正常读写,且数据目录所在磁盘使用率未超过阈值(系统默认值为95%)。

来自：
帮助文档
存储资源盘活系统
用户指南
存储池（集群版适用）
查看/维护存储池
将Oracle同步到MySQL
本文主要介绍将Oracle同步到MySQL 支持的源和目标数据库表支持的数据库源数据库目标数据库l本地自建数据库(Oracle 10g、11g、12c、18c、19c版本)lECS自建数据库(Oracle 10g、11g、12c、18c、19c版本)lRDS for MySQL 支持的同步对象范围在使用DRS进行同步时,不同类型的同步任务,支持的同步对象范围不同,详细情况可参考下表。 DRS会根据用户选择,在“预检查”阶段对同步对象进行自动检查。

来自：
帮助文档
数据库复制
用户指南
实时同步
入云
将Oracle同步到MySQL
SQL语句执行卡住类问题
本页介绍天翼云TeleDB数据库SQL语句执行卡住类问题。 SQL语句执行卡住问题部分排查思路平时正常执行的SQL,某个时刻执行了很长时间仍未返回结果。

来自：
帮助文档
分布式融合数据库HTAP
私有云产品
故障处理
SQL语句执行卡住类问题
将Oracle同步到DWS
支持的源和目标数据库表支持的数据库源数据库目标数据库本地自建数据库ECS自建数据库 DWS集群前提条件已登录数据复制服务控制台。满足实时同步支持的数据库类型和版本,详情请参见实时同步。使用建议注意 DRS任务启动和全量数据同步阶段,请不要在源数据库执行DDL操作,否则可能导致任务异常。为保证同步前后数据一致性,确保同步期间目标数据库无业务写入。

来自：
帮助文档
数据库复制
用户指南
实时同步
入云
将Oracle同步到DWS
功能特性
数据保护支持多副本和纠删码数据冗余保护机制,可以提高空间的利用效率并获得较好的数据保护效果,保证了海量数据的存储可靠性和持续可用性。支持数据完整性校验、传输加密,确保数据安全可靠,同时利用了OOS独有的原子操作,能够真正确保云上数据的一致性。上云能力支持多种数据上云方式,本地既可只缓存热数据,又可以保留全量数据,数据自动同步到云端,实现存储空间弹性扩展。云存储网关功能特性功能模块功能特性安装部署支持单机版、集群版部署具备安装、初始化、密码修改、升级、卸载功能。

来自：
帮助文档
云存储网关
产品简介
功能特性
产品定义
网络带宽优化:通过在边缘设备上进行数据分析和预处理,可以减少数据传输量,优化网络带宽使用。数据隐私保护:边缘计算将数据处理和存储在本地,可以有效保护数据隐私,降低了数据泄露风险。

来自：
帮助文档
智能边缘云
产品简介
产品定义
循环语句
本页介绍天翼云TeleDB数据库存储过程开发的循环语句。

来自：
帮助文档
分布式融合数据库HTAP
私有云产品历史版本
V5.0.0版本产品文档
开发手册
存储过程开发
控制结构
循环语句
循环语句
本页介绍天翼云TeleDB数据库存储过程开发的循环语句。

来自：
帮助文档
分布式融合数据库HTAP
私有云产品历史版本
V5.1.0版本产品文档
开发手册
存储过程开发
控制结构
循环语句
循环语句
本页介绍天翼云TeleDB数据库存储过程开发的循环语句。

来自：
帮助文档
分布式融合数据库HTAP
私有云产品历史版本
V4.0.0版本产品文档
开发手册
存储过程开发
控制结构
循环语句
循环语句
本页介绍天翼云TeleDB数据库存储过程开发的循环语句。

来自：
帮助文档
分布式融合数据库HTAP
私有云产品历史版本
V2.0.0版本产品文档
开发手册
存储过程开发
控制结构
循环语句
循环语句
本页介绍天翼云TeleDB数据库存储过程开发的循环语句。

来自：
帮助文档
分布式融合数据库HTAP
私有云产品历史版本
V3.0.0版本产品文档
开发手册
存储过程开发
控制结构
循环语句
循环语句
本页介绍天翼云TeleDB数据库存储过程开发的循环语句。

来自：
帮助文档
分布式融合数据库HTAP
私有云产品
开发手册
存储过程开发
控制结构
循环语句
GetRestoreCapacity
否Bucket指定查询数据取回量的Bucket名称。如果不指定Bucket名称,则表示查询账户下所有Bucket的数据取回量之和。类型:字符串取值:3~63个字符,只能由小写字母、数字、短横线(-)和点(.)组成。否Region指定查询数据取回量的数据位置。如果不指定数据位置名称,则表示查询账户下所有数据位置的数据取回量之和。

来自：
帮助文档
对象存储（经典版）I型
API参考
统计分析
统计API
GetRestoreCapacity

天翼云最新活动

818算力跃迁·礼遇盛夏

爆款云主机2核2G限时秒杀，28.8元/年起！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云脑AOne

连接、保护、办公，All-in-One！

中小企业服务商合作专区

国家云助力中小企业腾飞，高额上云补贴重磅上线

出海产品促销专区

爆款云主机低至2折，高性价比，不限新老速来抢购！

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

弹性云主机

物理机

镜像服务

轻量型云主机

多活容灾服务

天翼云CTyunOS系统

算力互联调度平台

一站式智算服务平台

智算一体机

推荐文档

数据库访问

升级

Microsoft SQL Server

网页防篡改卸载