数据集成工具_数据集成工具文档介绍内容-天翼云

购买
本章节主要内容介绍购买操作进入节点资源池控制台,进入数据库复制控制台,左侧菜单栏3个入口,分别是实时迁移管理、备份迁移管理、实时同步管理,用户根据自己数据库场景选择,此处以实时迁移为例: 点击“创建迁移任务”按钮,进入创建页面,根据提升进行迁移任务创建: 1)任务名称:该处名称在4位到50位之间,必须以字母开头,可以包含字母、数字、中划线或下划线,不能包含其他特殊字符; 2)迁移实例信息:包括数据流动方向,入云,出云;源数据库引擎类型;目标数据库引擎类型;网络类型;目标数据库实例名称;目标数据库实例读写设置

来自：
帮助文档
数据库复制
计费说明
购买
并发连接数
数据位置并发连接数查询的数据位置,可以选择:全部数据位置:展示所有数据位置的并发连接数之和。具体数据位置:根据显示的数据位置进行选择,查看对应数据位置的并发连接数。存储桶并发连接数数查询的存储桶,可以选择:全部存储桶:展示所有存储桶的并发连接数之和。具体存储桶:根据显示的存储桶,选择查看对应存储桶的并发连接数。连接类型选择并发连接数的连接类型:全部连接类型:包含互联网连接数和非互联网连接数。互联网连接数。非互联网连接数。按钮可以点击“下载”按钮,将并发连接数的统计信息下载到本地查看。

来自：
帮助文档
对象存储（经典版）I型
控制台指南
统计概览
统计
并发连接数
配置和修改内网地址
说明:本章节会介绍如何在控制台配置和修改数据库内网地址操作背景用户从线下或者其他云迁移到关系型数据库后要面对更改IP的问题,为减少客户业务更改,降低迁移难度。提供规划与更改内网IP方式,降低客户迁移成本。配置内网IP在购买实例时,可在“服务选型”页面的网络部分,根据选择的子网自动配置内网地址。修改内网IP对于创建完成的关系型数据库实例,支持更改内网地址。登录管理控制台。单击管理控制台左上角的,选择区域和项目。选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。

来自：
帮助文档
专属云（关系型数据库MySQL）
用户指南
连接管理
配置和修改内网地址
通过psql连接实例
host_port:数据库端口,为实例详情页面中的数据库端口。 :用户名,即RDS-PostgreSQL数据库帐号(默认管理员帐号为 root)。 :数据库名,即RDS-PostgreSQL实例里面的数据库,默认初始化的数据库名是postgres。示例: psql -h xx.xx.xx.xx -p xxxx -U root –d postgres

来自：
帮助文档
关系数据库PostgreSQL版
快速入门
步骤三：连接实例
通过公网连接实例
通过psql连接实例
饼图
结果将以饼图的形式展示,扇区默认为表格模式下的第一列数据,百分比数据来源为表格模式下的第二列数据。配置参数图表配置参数如下:参数说明图表名称自定义图表名称分类在下拉框中选择字段数据作为分类,推荐用户使用字符串作为分类数值列在下拉框中选择字段数据作为数值

来自：
帮助文档
云日志服务
用户指南
日志可视化
统计图表
饼图
回滚快照
操作场景当发生误操作或系统故障等问题时,您可以使用已创建的快照来回滚数据,使云硬盘的数据恢复至创建快照的时刻,实现云硬盘数据的恢复。约束限制快照状态为“可用”状态,快照源云硬盘为“未挂载”状态时支持回滚操作。快照状态为“可用”状态,快照源云硬盘为“已挂载”状态,同时源云硬盘所挂载云主机为“关机”状态时支持回滚。快照只支持回滚至源云硬盘,不支持回滚至其他云硬盘。数据盘进行回滚至目标时刻后,该时刻之后的数据将被清除,请谨慎操作。操作步骤登录天翼云,进入控制中心。

来自：
帮助文档
轻量型云主机
用户指南
云盘快照
回滚快照
桶策略和对象策略
待指定系统自动指定为已选对象,无需修改允许指定用户对当前对象执行以下动作:PutObject(PUT上传,POST上传,上传段,初始化上...数据)GetObjectVersion(获取指定版本对象内容、获取指定版本对象元数据)ModifyObjectMetaData(修改对象元数据)ListMultipartUploadParts(列举已上传段)AbortMultipartUpload(取消多段上传任务)GetObjectVersionAcl

来自：
帮助文档
对象存储
用户指南
权限控制
权限控制方式介绍
桶策略和对象策略
对象概述
对象(Object)是对象存储(简称ZOS)存储数据的基本单元,也被称为文件。和传统的文件系统不同,Object没有文件目录层级结构的关系。 Object包含以下信息: OID:Object的ID即Object的名称,可用于查询Object。 Metadata:Object元信息,是一组键值对。包括系统元数据和用户元数据,记录了Object的一些属性。 Data:您存储的数据,可由任意长度的字节组成。

来自：
帮助文档
对象存储
用户指南
对象管理
对象概述
功能类
在高可用方面云硬盘支持多副本、快照、异地备份等,因此一般对性能要求高的推荐本地盘,对重要业务数据推荐使用云硬盘。我在什么场景下使用本地盘? IO 密集型应用 : 大型关系数据库、NoSQL、ElasticSearch 等 IO 密集型应用,对存储延时要求低,可使用云服务器自带的 NVME SSD 本地盘类型,但需注意单点故障风险。大数据型业务: EMR 等大数据处理业务,本身对延迟不敏感,且上层有数据冗余,可以容忍单点数据故障,可使用云服务器自带的 SATA HDD 本地盘类型。

来自：
帮助文档
智能边缘云
常见问题
功能类
删除消息
这可能是由于消息格式错误、消息内容不完整或者其他数据质量问题导致的。删除错误消息可以保持数据的一致性和准确性。保留策略变更:Kafka中可以设置消息的保留时间或者大小,即消息在主题中的保留期限。当需要更改消息的保留策略时,可能需要删除旧的消息以应用新的策略。例如,如果要缩短消息的保留时间,则需要删除超过新保留期限的旧消息。清理测试数据:在测试环境中,经常需要清理旧的测试数据,以确保环境的可用空间和性能。当测试数据不再需要时,可以删除相应的消息来释放资源。

来自：
帮助文档
分布式消息服务Kafka
用户指南
Topic管理
删除消息
创建手动备份
注意事项手动备份的文件,也会按照自动清理策略被清理,如有重要数据,请增多保留天数或及时做好数据保存,以免被系统清理。一致性备份进行中时,禁止执行DDL命令,避免因锁表导致备份失败。操作步骤在天翼云官网首页的顶部菜单栏,选择【产品 > 数据库 > 关系型数据库 > 分布式关系型数据库】,进入分布式关系型数据库产品页面。然后单击【管理控制台】,进入【概览】页面。在左侧导航栏,选择【DRDS > 实例管理】,进入实例列表页面。然后在顶部菜单栏,选择区域和项目。

来自：
帮助文档
分布式关系型数据库
用户指南
备份与恢复
备份
创建手动备份
步骤四：创建Schema
注意事项创建Schema时,DRDS将在关联的MySQL实例上新建数据库,该操作不会影响已有库表。创建Schema时,一个DRDS实例可以创建多个Schema。操作步骤进入Schema管理页面。在天翼云官网首页的顶部菜单栏,选择产品 > 数据库 > 关系型数据库 > 分布式关系型数据库,进入分布式关系型数据库产品页面。然后单击管理控制台,进入概览页面。在左侧导航栏,选择DRDS > 实例管理,进入实例列表页面。然后在顶部菜单栏,选择区域和项目。

来自：
帮助文档
分布式关系型数据库
快速入门
步骤四：创建Schema
恢复类
使用备份恢复数据时,需要停止云主机吗? 使用备份恢复数据时不需要停止云主机。但是不建议对正在运行的应用程序的文件进行恢复,建议停止应用程序运行后再执行恢复操作。恢复时可以终止恢复吗? 可以。创建恢复任务后,可以在恢复任务列表取消正在进行的恢复任务,具体操作请参见取消恢复任务。注意恢复任务终止后,无法恢复,请谨慎操作。终止恢复任务后,如果需要恢复请创建一条新的恢复任务。云备份支持从任意一个备份恢复数据吗? 云备份支持从任意一个备份恢复云主机所备份目录/文件的全量数据。

来自：
帮助文档
云备份
常见问题
恢复类
Agent问题
数据库审计的Agent提供哪些功能? 数据库审计的Agent主要提供以下功能: 获取访问数据库流量将流量数据上传到审计系统接收审计系统配置命令上报数据库状态监控数据数据库审计的Agent可以安装在哪些Windows操作系统上?

来自：
帮助文档
数据库审计
常见问题
Agent问题
跨源连接运维报错
原因分析客户的数据中存在emoj表情,这些表情是按照四个字节一个单位进行编码的,而通常使用的utf-8编码在mysql数据库中默认是按照三个字节一个单位进行编码的,这个原因导致将数据存入mysql数据库时出现错误。出现该问题可能原因如下: 数据库编码问题。处理步骤修改字符集为utf8mb4。 1.执行如下SQL更改数据库字符集。

来自：
帮助文档
数据湖探索
常见问题
操作类
跨源连接相关问题
跨源连接运维报错
性能调优
配置后,作业异常重启,会从最新成功的Checkpoint文件恢复内部状态和消费位点,保证数据不丢失及聚合算子等内部状态的精确一致语义。同时,为了保证数据不重复,建议使用带主键数据库或者文件系统作为目标数据源,否则下游处理业务需要加上去重逻辑(最新成功Checkpoint记录位点到异常时间段内的数据会重复消费)。 −对于Flink Jar作业,在代码中开启Checkpoint,同时如果有自定义的状态需要保存,您还需要实现ListCheckpointed接口,并为每个算子设置唯一ID。

来自：
帮助文档
数据湖探索
常见问题
操作类
Flink作业相关问题
性能调优
开启Kerberos认证集群中的默认用户清单
数据库用户 MRS集群系统数据库用户包含OMS数据库用户、DBService数据库用户。说明数据库用户不能删除,否则可能导致集群或组件服务无法正常工作。

来自：
帮助文档
翼MapReduce
用户指南
MRS Manager操作指导（适用于2.x及之前）
安全管理
开启Kerberos认证集群中的默认用户清单
开启Kerberos认证集群中的默认用户清单
数据库用户 MRS集群系统数据库用户包含OMS数据库用户、DBService数据库用户。说明数据库用户不能删除,否则可能导致集群或组件服务无法正常工作。类别默认用户初始密码描述 OMS数据库 ommdba dbChangeMe@123456 OMS数据库管理员用户,用于创建、启动和停止等维护操作。 omm ChangeMe@123456 OMS数据库数据访问用户。

来自：
帮助文档
翼MapReduce
用户指南
MRS Manager操作指导（适用于2.x及之前）
MRS多用户权限管理
开启Kerberos认证集群中的默认用户清单
通用操作类
DTS支持多对一的的数据迁移或同步,即从不同实例、不同表的数据迁移或同步到目标库的同一个表中。操作建议: 由于是多个表的数据汇聚到目标库的同一个表中,所以需要确保目标库所在机器有足够的磁盘空间,建议目标库的剩余磁盘空间至少是源库待迁移数据量大小的1.5倍。如果是数据同步任务,不支持DDL同步,否则可能会导致同步失败。 DTS在一对多场景下应如何操作? DTS支持一对多的数据迁移或同步,即从同一实例的数据迁移或同步到多个不同的实例。

来自：
帮助文档
数据传输服务DTS
常见问题
通用操作类
使用Impala客户端
要自动连接到特定的Impala数据库,请使用 -d 选项。例如,如果您的所有Kudu表都位于数据库“impala_kudu”中,则-d impala_kudu可以使用此数据库。要退出ImpalaShell,请使用quit命令。内部表的操作: 根据表创建用户信息表user_info并添加相关数据。

来自：
帮助文档
翼MapReduce
用户指南
使用MRS客户端
各组件客户端使用实践
使用Impala客户端
应用场景
游戏类应用场景分布式缓存服务Redis版是游戏中重要的组件,一般用于玩家数据的缓存和持久化。缓存玩家数据:分布式缓存服务Redis版可以用作玩家数据的缓存存储,包括玩家的角色信息、道具装备、技能等业务数据。通过将玩家数据存储在Redis中,可以提高数据的读取速度,并减轻数据库的负载。这对于需要频繁读取玩家数据的游戏来说尤为重要。排行榜数据存储:在一个在线游戏中,我们需要实时统计玩家的得分,并展示排行榜,以便玩家之间进行竞争和比较。

来自：
帮助文档
分布式缓存服务Redis版
产品介绍
应用场景
服务内联委托
分布式消息服务RocketMQ 应用多活功能需要查询分布式消息服务RocketMQ实例信息、同步分布式消息服务RocketMQ数据,因此需要获取访问分布式消息服务RocketMQ服务的权限。关系数据库MySQL版应用多活功能需要查询关系数据库MySQL版实例信息,因此需要获取访问关系数据库MySQL版服务的权限。关系数据库PostgreSQL版应用多活功能需要查询关系数据库PostgreSQL版实例信息,因此需要获取访问关系数据库PostgreSQL版服务的权限。

来自：
帮助文档
应用高可用
用户指南
应用容灾多活
权限管理
服务内联委托
通过界面升级大版本
注意当数据库进行大版本升级时,部分已安装的插件会导致升级任务失败,请先卸载相关插件后再进行大版本升级。不支持大版本升级的插件包括:postgis操作步骤步骤 1 登录管理控制台。步骤 2 单击管理控制台左上角的 ,选择区域。步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。步骤 4 在实例列表,单击实例名称,进入实例的基本信息页面。步骤 5 在左侧导航栏,选择“大版本升级”。步骤 6 在“大版本升级”页签,选择目标升级版本,单击“立即检查”,等待几分钟。

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
版本升级
通过界面升级大版本
入门指引
步骤4:完成绑定资源后,即可对资源进行备份,产生的备份将存放至对应的存储库中,请参见创建备份: 创建云主机备份创建云硬盘备份创建SFS...数据因病毒、误删除导致数据丢失时,可以使用备份恢复资源的数据,请参见操作指导章节的数据恢复: 使用云主机备份恢复数据使用云硬盘备份恢复数据

来自：
帮助文档
云服务备份
快速入门
入门指引
查看并导出备份信息
操作场景关系型数据库支持导出备份,用户可以通过导出备份功能将备份信息(实例名称,备份开始时间,备份结束时间,备份状态,备份大小)导出到Excel中,方便用户查看并分析备份信息。如果需要导出备份数据,请参见下载实例级备份文件和下载增量备份文件。操作步骤步骤 1 登录管理控制台。步骤 2 单击管理控制台左上角的 ,选择区域。步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
数据备份
管理备份
查看并导出备份信息
查看并导出备份信息
操作场景关系型数据库支持导出备份,用户可以通过导出备份功能将备份信息(实例名称,备份开始时间,备份结束时间,备份状态,备份大小)导出到Excel中,方便用户查看并分析备份信息。如果需要导出备份数据,请参见下载备份文件和下载Binlog备份文件。操作步骤步骤 1 登录管理控制台。步骤 2 单击管理控制台左上角的 ,选择区域。步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。

来自：
帮助文档
关系数据库MySQL版
用户指南
数据备份
管理备份
查看并导出备份信息
计费说明
镜像名称价格(元/小时) 价格(元/月) Windows Server 2016 数据中心版(简体中文)64位GRID 13.2专用 0.46 220 Windows Server 2019 数据中心版(简体中文)64位GRID 16.4 专用-NLS 0.46 220 windows Server 2019 数据中心版(简体中文)64位GRID 13.2专用 0.46 220 Windows Server 2022 数据中心版(简体中文)64位 GRID 13.2 专用-NLS

来自：
帮助文档
镜像服务
计费说明
计费说明
标签设置
操作场景您可以对创建的数据库实例增加标签,方便后续多个数据库实例管理时,通过搜索标签快速筛选你想要的数据库实例。操作步骤登录天翼云门户。点击控制中心,进入控制中心后,选择目标资源池。在产品列表页面中找到【数据库】→【关系数据库PostgreSQL版】,点击进入控制台。在左侧菜单中点击【PostgreSQL】→【实例管理】,点击进入产品实例管理页。在"实例管理"页面,在"标签"列选择对应的实例,点击标签图标后再点击"编辑",开始编辑实例标签。

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
实例操作
标签设置
锁&事务
InnoDB锁等待当前功能展示了当前时刻(实时)数据库的DML操作之前的锁等待的信息,可以快速帮助定位多个会话因同时更新同一条数据,而产生的会话等待和阻塞,并且支持快速终止持有锁的源头会话,从而恢复被阻塞的操作。说明DDL锁(Metadata Lock, MDL),不在当前功能的范围之内,可以使用元数据锁进行分析和查看。操作步骤 1、登录管理控制台。单击管理控制台左上角的,选择区域和项目。单击页面左上角的,选择“数据库 > 数据管理服务 DAS”,进入数据管理服务页面。

来自：
帮助文档
数据管理服务
用户指南
DBA智能运维
GaussDB(for MySQL)
锁&事务
创建实例并挂载云硬盘
ECI实例中容器的数据在磁盘中是临时存放的,会随着容器释放而删除。如果用户有持久化存储数据的需求,支持为容器挂载数据卷来管理容器中的数据。下文将创建一个挂载天翼云硬盘的作为数据卷的ECI实例。限制条件已开通弹性容器实例服务。已创建按量付费类型的云硬盘。云硬盘必须与ECI实例归属同一可用区,不支持跨可用区挂载。云硬盘必须是非共享存储,且磁盘模式必须是VBD。操作步骤下文介绍如何创建一个挂载云硬盘的ECI实例: 打开弹性容器实例产品订购页。

来自：
帮助文档
弹性容器实例
快速入门
创建容器实例
创建实例并挂载云硬盘
删除用户
操作步骤在天翼云官网首页的顶部菜单栏,选择产品数据库 > 关系型数据库 > 分布式关系型数据库,进入分布式关系型数据库产品页面。然后单击管理控制台,进入概览页面。在左侧导航栏,选择DRDS > 实例管理,进入实例列表页面。然后在顶部菜单栏,选择区域和项目。在实例列表中,找到目标实例,单击操作列的管理,进入实例基本信息页面。在左侧导航栏,选择用户与角色管理,进入用户管理页面。在用户列表中,找到目标用户,然后在操作列选择更多 > 删除。在删除用户对话框中,单击确定。

来自：
帮助文档
分布式关系型数据库
用户指南
用户与角色管理
用户管理
删除用户
云服务备份CBR支持的事件列表
vaultDeleteFailed 紧急储存库删除失败稍后重试或联系技术支持可能造成计费异常复制失败 replicationFa...数据丢失创建备份成功 backupSucceeded 重要创建备份成功无无使用备份恢复资源成功 restorationSucceeded 重要使用备份恢复资源成功观察数据是否已成功恢复。

来自：
帮助文档
云监控服务
用户指南
事件监控
事件监控支持的事件说明
云服务备份CBR支持的事件列表

天翼云最新活动

12.12年度钜惠

爆款云主机2核2G仅需28.8元/年，X实例35.1元/半年起！ 8代机+XSSD新客专享2.5折！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云AI产品特惠

人脸识别+文字识别焕新，新用户免费试用

中小企业服务商合作专区

国家云助力中小企业腾飞，高额上云补贴重磅上线

出海产品促销专区

爆款云主机低至2折，高性价比，不限新老速来抢购！

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

弹性云主机

GPU云主机

镜像服务

弹性高性能计算

训推服务

AI Store

模型推理服务

科研助手

智算一体机

推荐文档

查询告警

天翼云域名的优势

云课堂第十四课：天翼云云硬盘的磁盘模式及共享盘

支持的监控指标

生产消息

常见问题

域名DNS配置

活动

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

弹性云主机

GPU云主机

镜像服务

弹性高性能计算

训推服务

AI Store

模型推理服务

科研助手

智算一体机

推荐文档

查询告警

天翼云域名的优势

云课堂 第十四课：天翼云云硬盘的磁盘模式及共享盘

支持的监控指标

生产消息

常见问题

域名DNS配置

云课堂第十四课：天翼云云硬盘的磁盘模式及共享盘