数据集成工具_数据集成工具文档介绍内容-天翼云

热门分析
热门URL、热门Referer和TOP客户端IP支持三个月内、最长时间跨度为一个月的数据查询。三个月内:是指支持查询的历史数据范围,从当日往前推,三个月内的数据支持查询,而超过三个月的数据不支持查询。跨度一个月:是指单次数据查询的时间跨度,最长时间跨度是一个月,即单次最长仅支持查一个月的数据。查询起止日期可以是三个月里面的任意连续的日期,最长跨度为一个月。域名排行支持一年内、最长时间跨度为一个月的数据查询。

来自：
帮助文档
视频直播
用户指南
统计分析
热门分析
批量解锁
数据开发模块提供了批量解锁脚本的功能,您可参照本节内容对锁定的脚本进行批量解锁。操作步骤登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。详见下图:选择数据开发在数据开发主界面的左侧导航栏,选择“数据开发 > 脚本开发”。单击脚本目录中的,选择“显示复选框”。详见下图:显示脚本复选框勾选需要解锁的脚本,单击 > 批量解锁。弹出“解锁成功”提示。详见下图:批量解锁

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据开发
脚本开发
（可选）管理脚本
批量解锁
批量解锁
数据开发模块提供了批量解锁作业的功能,您可参照本节内容对锁定的作业进行批量解锁。操作步骤登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。详见下图:选择数据开发在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。单击作业目录中的,选择“显示复选框”。详见下图:显示作业复选框勾选需要解锁的作业,单击 > 批量解锁。弹出“解锁成功”提示。详见下图:批量解锁

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据开发
作业开发
（可选）管理作业
批量解锁
创建自定义集群
2、配置Hive、Ranger、Amoro、Hue与DolphinScheduler的元数据库信息前,请先创建数据库,若需要部署多个服务,请创建多个数据库,创建方式可参考创建数据库。3、元数据配置所需信息可前往数据库控制台查看。4、请确保配置的数据库用户具有该数据库的读写权限。

来自：
帮助文档
翼MapReduce
用户指南
配置集群
快速创建集群
创建自定义集群
新建复合指标
说明如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。 − 不更新:当数据重复时,不会替换系统中原有的数据。 − 更新:当数据重复时系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。系统中的原有数据为发布状态,则会生成下展数据。单击“添加文件”,选择编辑完成的导入模板。单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。单击“关闭”。导出复合指标可通过导出的方式将复合指标导出到本地。在复合指标列表选中待导出的指标。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据架构
指标设计
技术指标
新建复合指标
天翼云 CT-RDS SQL Server为源的迁移任务源端配置
前提条件 (1)CT-RDS SQL Server数据库的源端版本为2012、2014、2016、2017、2019版本。 (2)CT-RDS SQL Server Web版本,不支持增量数据迁移。 (3)目标端数据库的存储空间必须大于源端数据库所占用的存储空间。

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据迁移
任务创建
天翼云 CT-RDS SQL Server为源的迁移任务配置
天翼云 CT-RDS SQL Server为源的迁移任务源端配置
资源及磁盘管理
占用RDS-PostgreSQL磁盘空间的日志及文件有哪些 RDS-PostgreSQL实例占用磁盘空间文件和日志主要有以下类型: 文件类...数据库日志文件、代理日志文件、高可用日志文件。数据库文件:数据库内容文件。 RDS-PostgreSQL是否支持磁盘缩容 RDS-PostgreSQL实例考虑到数据安全性问题,暂不支持磁盘缩容操作,仅支持磁盘扩容功能,请您开通实例时根据业务规划,合理设置磁盘空间大小。

来自：
帮助文档
关系数据库PostgreSQL版
常见问题
订购类
资源及磁盘管理
查看实例拓扑
背景信息实例拓扑提供目标实例的节点信息、数据库代理和只读实例的逻辑对应关系,对目标实例及其关联实例提供一个清晰的全局查看视角(支持查看实例节点名称、数据库代理名称、只读实例名称等信息),方便您获取实例信息,并根据实际情况,为目标实例快速开启代理或创建只读实例。操作步骤在天翼云官网首页的顶部菜单栏,选择产品 > 数据库 > 关系型数据库 > 关系数据库MySQL版,进入关系数据库MySQL产品页面。然后单击管理控制台,进入概览页面。在左侧导航栏,选择MySQL > 实例管理,进入实例列表页面。

来自：
帮助文档
关系数据库MySQL版
用户指南
实例管理
查看实例拓扑
绑定和解绑弹性公网IP
操作场景关系型数据库实例创建成功后,默认未开启公网访问功能(即未绑定弹性公网IP)。关系型数据库服务支持用户绑定弹性公网IP,在公共网络来访问数据库实例,绑定后也可根据需要解绑。注意为保证数据库可正常访问,请确保数据库使用的安全组开通了相关端口的访问权限,假设数据库的访问端口是8635,那么需确保安全组开通了8635端口的访问。前提条件用户需要在VPC申请一个弹性公网IP。只有主实例和只读实例才能绑定弹性公网IP。

来自：
帮助文档
关系数据库PostgreSQL版
用户指南
连接管理
绑定和解绑弹性公网IP
删除按需实例
步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。步骤 4 在“实例管理”页面的实例列表中,选择需要删除的主实例,在“操作”列,选择“更多 > 删除实例”。步骤 5 在“删除实例”弹框,单击“是”下发请求。步骤 6 稍后刷新“实例管理”页面,查看删除结果。删除按需只读实例步骤 1 登录管理控制台。步骤 2 单击管理控制台左上角的,选择区域和项目。步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。

来自：
帮助文档
关系数据库MySQL版
用户指南
实例管理
删除按需实例
删除按需实例
步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。步骤 4 在“实例管理”页面的实例列表中,选择需要删除的主实例,在“操作”列,选择“更多 > 删除实例”。步骤 5 在“删除实例”弹框,单击“是”下发请求。步骤 6 稍后刷新“实例管理”页面,查看删除结果。删除按需只读实例步骤1 登录管理控制台。步骤2 单击管理控制台左上角的,选择区域和项目。步骤3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。

来自：
帮助文档
专属云（关系型数据库MySQL）
用户指南
实例管理
删除按需实例
调试Flink作业
“数据输入方式”:可选择保存在OBS桶中的CSV数据,也可手动录入。 −选择“OBS(CSV)”方式用户将OBS服务作为数据源,需要与OBS服务对接,在使用DLI服务前,需要先准备OBS数据,具体请参见准备Flink作业数据。OBS方式的数据输入格式为CSV,以换行分隔多条记录,以逗号分隔单条记录中不同字段。同时,用户需要选择OBS中具体的对象作为输入源数据。 −选择“手动录入”方式用户编写SQL语句作为数据源。手动录入方式需要填写单条记录的每一个字段值。

来自：
帮助文档
数据湖探索
用户指南
作业管理
Flink作业管理
调试Flink作业
安全性
系统对数据做的扫描仅限于判断数据块是否存在和被损坏(如有损坏,会启动修复),不会读取具体的内容。后台工程师能否导出我存在OBS中的数据? 后台工程师无法导出用户数据。访问桶或对象时,如果桶或对象未公开,只有桶或对象的拥有者才能够访问,访问时需要提供访问密钥(AK/SK)。 OBS如何保证我的数据不会被盗用? 只有桶或对象的拥有者才能访问,访问时需要提供访问密钥(AK/SK),并且还有ACL、桶策略、防盗链等多种访问控制机制保证数据的访问安全。

来自：
帮助文档
对象存储
常见问题
安全性
使用限制
本节主要介绍分布式缓存服务Redis的使用限制分布式缓存服务Redis各数据类型以及部分功能特性的使用限制如下: 项目说明List数据类型List及其包含的元素个数无限制,建议List的元素个数小于8192,Value最大长度不超过32K。Set数据类型Set及其包含的元素个数无限制,建议Set的元素个数小于8192, Value最大长度不超过32K。

来自：
帮助文档
分布式缓存服务Redis版
用户指南
使用前必读
使用限制
导出权限
操作步骤在天翼云官网首页的顶部菜单栏,选择产品数据库 > 关系型数据库 > 分布式关系型数据库,进入分布式关系型数据库产品页面。然后单击管理控制台,进入概览页面。在左侧导航栏,选择DRDS > 实例管理,进入实例列表页面。然后在顶部菜单栏,选择区域和项目。在实例列表中,找到目标实例,单击操作列的管理,进入实例基本信息页面。在左侧导航栏,选择用户与角色管理,进入用户管理页面。单击角色管理页签,进入角色管理页面。在角色列表中,找到目标角色,单击操作列的导出权限。

来自：
帮助文档
分布式关系型数据库
用户指南
用户与角色管理
角色管理
导出权限
SQL操作
删除行:删除选中行包括数据信息。导出:支持SQL格式和CSV格式导出,最多支持1万行数据。导出更多:若用户需要导出超出1万行的数据,单击此处会跳转到数据导出模块,方便用户使用导出功能。说明结果集涉及到视图时,不可进行编辑操作。结果集类型为元数据时,不可进行编辑或分页操作结果集涉及多张表时,不可进行编辑操作结果集仅涉及1张表,但该表主键列未全部包含在查询结果中时或无主键时,不可进行编辑操作。虚表不能进行编辑操作(例如存储过程执行中生成的表)。

来自：
帮助文档
数据管理服务
用户指南
MySQL数据库管理（开发工具）
SQL操作
安全方案
数据容灾:在RocketMQ中,数据容灾是指保护消息数据免受损失的能力。RocketMQ支持配置多个副本,将消息数据复制到不同的节点上。这样即使某个节点发生故障,其他副本仍然可以提供数据服务,确保消息数据的可用性。支持TLS传输加密客户端可以设置TLS或非TLS连接。如下图所示: 权限控制权限控制主要为 RocketMQ 提供 Topic 资源级别的高级访问控制功能。

来自：
帮助文档
分布式消息服务RocketMQ
产品简介
安全方案
导出实例
说明:本章节会介绍如何导出数据库实例操作场景您可以导出实例列表(所有实例或根据一定条件筛选出来的目标实例),查看并分析实例信息。导出所有实例步骤 1 登录管理控制台。步骤 2 单击管理控制台左上角的,选择区域和项目。步骤 3 选择“数据库 > 关系型数据库”。进入关系型数据库信息页面。步骤 4 在“实例管理”页面,单击实例列表右上角,默认选择所有的数据库实例,在导出弹框勾选所需导出信息,单击“导出”。步骤 5 导出任务执行完成后,您可在本地查看到一个“.csv”文件。

来自：
帮助文档
专属云（关系型数据库MySQL）
用户指南
实例管理
导出实例
任务状态说明
数据实时迁移任务的状态和说明,请参见下表。表实时迁移任务状态和说明状态说明创建中正在创建数据复制服务需要用到的迁移实例。创建任务失败创建实时迁移实例失败。配置迁移实例创建成功,但还没有启动任务,可以继续配置任务。等待启动已经下发了定时启动迁移任务到迁移实例上,等待迁移实例启动任务。启动中正在启动迁移任务。启动失败实时迁移任务启动失败。全量迁移正在进行源数据库到目标数据库的全量迁移任务。

来自：
帮助文档
数据库复制
用户指南
实时迁移
任务管理
任务状态说明
使用TPC-H样例模板开发并提交Spark SQL作业
3.在“SQL编辑器”页面右侧的编辑窗口上方,“执行引擎”选择“spark”,“队列”选择“default”,“数据库”选择“default”,单击“执行”。 4.SQL作业编辑窗口下方“查看结果”页签查看查询结果。本示例使用系统预置的“default”队列和数据库进行演示,也可以在自建的队列和数据库下执行。创建队列请参考《数据湖探索用户指南》>《创建队列》。创建数据库请参考《数据湖探索用户指南》下的“数据管理 > 库表管理 > 创建数据库和表”。

来自：
帮助文档
数据湖探索
快速入门
使用TPC-H样例模板开发并提交Spark SQL作业
修改存储类型
数据取回:获取低频访问存储文件时会产生数据取回费用。

来自：
帮助文档
对象存储（经典版）I型
控制台指南
文件管理
修改存储类型
总览
XX详情(“XX”为具体的表名或数据库/SID名或资产名称,请以实际情况为准):显示表的基础信息,可对表、数据库/SID设置备注、对象组信息。字段信息:显示选中表中包含的字段信息,可对字段设置字段备注、对象组信息。数据流动趋势:显示各个时间段该表的审计数量与影响行数。访问关系分析:使用图表的方式显示访问该表的客户端IP、数据库账号、操作类型信息,用于梳理访问权限,帮助用户实现权限最小化。数据库/SID视角从全局视角分析数据库的使用概况,默认展示当天的审计数据,并按照“审计数量”进行倒叙排列。

来自：
帮助文档
数据库审计
用户指南
总览
跨区域复制简介
由于业务原因,您需要将OBS数据从一个区域的数据中心迁移至另一个区域的数据中心。出于对数据安全性以及可用性的考虑,您希望对所有写入OBS的数据,都在另一个区域的数据中心显式地创建一个备份,以防止在数据发生不可逆损毁时,有安全、可用的备份数据。约束与限制在使用跨区域复制过程中,存在如下的约束与限制: 桶版本限制桶版本号为3.0及以上的桶支持跨区域复制功能。桶版本号可以在OBS管理控制台上,进入桶概览页后,在“基本信息”中查看。

来自：
帮助文档
对象存储
用户指南
跨区域复制
跨区域复制简介
权限管理
如何将源数据库的用户与权限导出,再导入到目标数据库步骤 1 选择一台可以访问源数据库的虚拟机。步骤 2 执行如下命令后,输入密码并回车,将源库用户导出到临时文件“users.sql”中。

来自：
帮助文档
数据库复制
常见问题
权限管理
登录安全管理
表示当系统配置“域控校验”,且用户选择AD域认证时,该用户需下载SSO登录工具,并在登录名相同的域服务器中才能成功登录系统。关闭,表示禁用域控校验。单击“确定”,返回安全配置管理页面,查看当前系统Web登录配置。客户端登录配置登录云堡垒机系统。选择“系统 > 系统配置 > 安全配置”,进入系统安全配置管理页面。在“客户端登录配置”区域,单击“编辑”,弹出客户端登录配置窗口,根据界面提示配置系统客户端登录参数。

来自：
帮助文档
运维安全中心（云堡垒机）
用户指南
系统登录
登录安全管理
安装客户端
使用WinSCP工具,以准备安装客户端的用户(如“user_client”),将获取的软件包上传到将要安装客户端的服务器文件目录,例如“/opt/Bigdata/client”。客户端软件包名称格式为:“FusionInsight_Cluster_< 集群ID> _Services_Client.tar”。后续步骤及章节以FusionInsight_Cluster_1_Services_Client.tar进行举例。说明客户端所在主机可以是集群内节点,也可以是集群外节点。

来自：
帮助文档
翼MapReduce
用户指南
FusionInsight Manager操作指导（适用于3.x）
集群管理
配置客户端
安装客户端
用户帐号一览表
数据库用户系统数据库用户包含OMS数据库用户、DBService数据库用户。类别默认用户初始密码描述密码修改方法 OMS数据库 ommdba dbChangeMe@123456 OMS数据库管理员用户,用于创建、启动和停止等维护操作。请参见修改OMS数据库管理员密码 OMS数据库 omm ChangeMe@123456 OMS数据库数据访问用户。

来自：
帮助文档
翼MapReduce
用户指南
FusionInsight Manager操作指导（适用于3.x）
安全管理
安全概述
用户帐号一览表
创建云硬盘快照
操作场景云硬盘快照是一种数据备份方式,云硬盘快照可以备份或者恢复整个云硬盘的数据,常用于数据备份、制作镜像、应用容灾等场景。在回滚云硬盘、更换操作系统、数据迁移等重要操作之前,您可以提前创建快照,从而保存指定时刻的云硬盘数据,提高操作的容错率。注意为保证用户写入的最新数据被记录到快照中,建议用户在创建快照之前确保内存数据已写入硬盘并暂停硬盘读写。具体操作请见下文使用sync操作同步数据。约束与限制单个云硬盘最多可以创建40个手动快照。X系列云硬盘可以创建1000个手动快照。

来自：
帮助文档
云硬盘
用户指南
云硬盘快照
创建云硬盘快照
全局序列概述
全局序列使用背景数据分布式存放后,原来数据库的自增序列无法满足全局唯一的要求,DRDS提供针对分布式的全局序列。简单说就是为应用提供全局唯一的序列号,主要用于替换单机数据库的自增序列,因为在分布式数据库环境下,使用单机数据库的自增序列无法保障数据库主键全局唯一。全局序列特性高性能:DRDS会按步长在本地内存中缓存一段序列,序列段用完后再去获取,大大提升了序列访问性能,但带来的问题就是多个DRDS并发访问时无法保证序列严格顺序递增,所以不能作为数据生成时间排序的依据。

来自：
帮助文档
分布式关系型数据库
开发指南
全局序列使用
全局序列概述
与其他服务依赖关系
分布式缓存服务分布式缓存服务通过将热点数据放入缓存,加快用户端的访问速度,提升用户体验。数据复制服务使用数据复制服务,实现数据库平滑迁移上云。

来自：
帮助文档
分布式关系型数据库
产品简介
与其他服务依赖关系
概述
实时同步提供对比功能,可根据需要查看对象级对比、数据级对比等,来确保源和目标数据库的数据一致性。

来自：
帮助文档
数据库复制
快速入门
创建数据库复制实时同步
概述
DNS解析异常问题排查
检查CoreDNS Pod运行状态执行以下命令,查看容器组信息# kubectl -n kube-system get pod -o wid...数据,需要事先安装监控组件

来自：
帮助文档
云容器引擎专有版/托管版
常见问题
域名DNS
DNS解析异常问题排查

天翼云最新活动

12.12年度钜惠

爆款云主机2核2G仅需28.8元/年，X实例35.1元/半年起！ 8代机+XSSD新客专享2.5折！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云AI产品特惠

人脸识别+文字识别焕新，新用户免费试用

中小企业服务商合作专区

国家云助力中小企业腾飞，高额上云补贴重磅上线

出海产品促销专区

爆款云主机低至2折，高性价比，不限新老速来抢购！

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

息壤智算

应用商城

定价

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

轻量型云主机

弹性伸缩服务

弹性高性能计算

模型推理服务

应用托管

科研助手

智算一体机

人脸检测

人脸属性识别

推荐文档

续订

PostpreSQL

天翼云进阶之路⑧：sql server内存暴涨如何解决

应用用户管理