数据集成工具_数据集成工具文档介绍内容-天翼云

开发一个DWS SQL作业
创建数据库在DWS中创建数据库,以“gaussdb”数据库为例。详情请参新建数据库进行操作。创建数据表在“gaussdb”数据库中创建数据表trade_log和trade_report。详情请参考如下建表脚本。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据开发
使用教程
开发一个DWS SQL作业
新建汇总表
选择是否更新已有数据。说明如果系统中已有的编码和模板中的编码相同,系统则认为是数据重复。不更新:当数据重复时,不会替换系统中原有的数据。更新:当数据重复时系统中的原有数据为草稿状态,则会覆盖生成新的草稿数据。系统中的原有数据为发布状态,则会生成下展数据。 d. 单击“添加文件”,选择编辑完成的导入模板。 e. 单击“上传文件”,上传完成后,自动跳转到“上次导入”页签,查看已导入的数据。 f. 单击“关闭”。导出可通过导出的方式将汇总表导出到本地。 a.

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据架构
数据集市建设
新建汇总表
新建规则模板
数据质量支持对离线数据的监控,质量规则是数据质量的核心。DataArts Studio系统内置的模板规则共计25种,分为库级规则、表级规则、字段级规则和跨字段级规则等规则类型,如下表所示。系统内置的规则模板一览表规则类型维度模板名称说明库级完整性数据库空值扫描计算数据库中所有表字段的空值行数。表级准确性表行数计算数据表的总行数。表级完整性数据表空值扫描计算数据表中所有表字段的空值行数。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据质量
数据质量监控
新建规则模板
安全
数据擦除机制数据擦除机制是指分布式块存储系统中已删除的数据一定会被完全擦除,不会被其他用户通过任何途径访问,也无法通过其他方式恢复,进而确保数据的完整性。当您删除/退订云硬盘时,存储系统立即销毁元数据,确保无法继续访问数据。同时,该云盘对应的物理存储空间会被回收。物理空间再次被分配前一定是清零过的,在首次写入数据前,所有新建的云盘的读取返回全部是零。

来自：
帮助文档
云硬盘
产品介绍
安全
应用场景
云硬盘备份的一个经典应用场景是数据备份恢复场景。场景说明病毒感染,系统故障:用户可使用云硬盘备份产品,将云硬盘恢复到最近一份未被病毒感染或未发生故障的备份副本的状态,避免数据丢失。人为损坏数据或误操作:用户可通过使用云硬盘备份产品,将备份数据快速恢复到源盘中,减少数据损失。目标用户适用于政府、金融等具有大量数据,且对数据有安全性要求的客户,可借助云硬盘备份实现数据的存储及复原,防止因意外、事故等导致的数据丢失。场景架构

来自：
帮助文档
云硬盘备份
产品简介
应用场景
事务模式迁移
详见下图:事务模式迁移说明如果“导入开始前”选择“清除部分数据”或“清除全部数据”,CDM的事务模式不会回滚已经删除的数据。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据集成
进阶实践
事务模式迁移
SQL查询优秀实践
对于过于复杂并且不易通过以上方法调整性能的SQL可以考虑拆分的方法,把SQL中某一部分拆分成独立的SQL并把执行结果存入临时表,拆分常见的场...数据量较大。 −Plan cost计算不准,导致子查询hash bucket太小,比如实际数据1000W行,hash bucket只有1000。 −函数(如substr,to_number)导致大数据量子查询选择度计算不准。 −多DN环境下对大表做broadcast的子查询。

来自：
帮助文档
数据仓库服务
最佳实践
数据库管理
SQL查询优秀实践
创建卷
写策略卷的写策略:回写:指数据写入到内存后即返回客户端成功,之后再异步写入磁盘。适用于对性能要求较高,稳定性要求不高的场景。透写:指数据同时写入内存和磁盘,并在都写成功后再返回客户端成功。适用于稳定性要求较高,写性能要求不高,且最近写入的数据会较快被读取的场景。绕写:指数据直接写到磁盘,不写入内存。适用于稳定性要求较高,性能要求不高,且写多读少的场景。默认值为回写。数据目录单机版本创建卷时,指定卷数据的存储位置(仅单机版支持)。如果创建卷时不指定数据目录,使用服务器设置的默认数据目录。

来自：
帮助文档
存储资源盘活系统
用户指南
卷操作
创建卷
设置自动备份策略
操作场景创建关系型数据库实例时,系统默认开启自动备份策略,用户也可以关闭备份,但是对于生产环境,强烈推荐开启备份,因为恢复功能依赖备份的打开。实例创建成功后,您可根据业务需要设置自动备份策略,关系型数据库服务按照您设置的自动备份策略对数据库进行备份。关系型数据库服务的备份操作是实例级的,而不是数据库级的。当数据库故障或数据损坏时,可以通过备份恢复数据库,从而保证数据可靠性。备份以压缩包的形式存储在对象存储服务上,以保证用户数据的机密性和持久性。

来自：
帮助文档
关系数据库MySQL版
用户指南
备份与恢复
设置自动备份策略
设置自动备份策略
操作场景创建关系型数据库实例时,系统默认开启自动备份策略,用户也可以关闭备份,但是对于生产环境,强烈推荐开启备份,因为恢复功能依赖备份的打开。实例创建成功后,您可根据业务需要设置自动备份策略。关系型数据库服务按照用户设置的自动备份策略对数据库进行备份。关系型数据库服务的备份操作是实例级的,而不是数据库级的。当数据库故障或数据损坏时,可以通过备份恢复数据库,从而保证数据可靠性。备份以压缩包的形式存储在对象存储服务上,以保证用户数据的机密性和持久性。

来自：
帮助文档
关系数据库SQL Server版
用户指南
备份与恢复
设置自动备份策略
删除手动备份
删除本地备份在天翼云官网首页的顶部菜单栏,选择【产品数据库 > 关系型数据库 > 关系数据库SQL Server版】,进入关系数据库SQL Server产品页面。然后单击【管理控制台】,进入TeleDB数据库【概览】页面。在左侧导航栏,选择【SQL Server > 实例管理】,进入实例列表页面。然后在顶部菜单栏,选择区域和项目。在实例列表中,单击目标实例名称,进入实例【基本信息】页面。单击【备份恢复】,进入本地数据备份列表页面。

来自：
帮助文档
关系数据库SQL Server版
用户指南
备份与恢复
备份
删除手动备份
删除作业
选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。详见下图:选择数据开发在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。在作业目录中,右键单击作业名称,选择“删除”。在弹出的“删除作业”页面,单击“确定”,删除作业。批量删除登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据开发
作业开发
（可选）管理作业
删除作业
概述
数据迁移提供对比功能,可根据需要查看对象级对比、数据级对比等,来确保源和目标数据库的数据一致性。

来自：
帮助文档
数据库复制
快速入门
创建数据库复制实时迁移
概述
区域属性
指定位置:可以指定多数据位置存放对文件,OOS将按用户指定的位置顺序存储文件。数据调度策略数据调度的策略:允许自动调度:OOS可以根据用户选择地区的实际使用情况,自动进行数据存储位置的调度,以便为用户提供更快的访问速度。不允许自动调度:OOS不会自动调度用户数据存储位置的调度。Endpoint域名地址。

来自：
帮助文档
对象存储（经典版）I型
控制台指南
存储桶管理
区域属性
自建SQL Server迁移至自建SQL Server
目标端数据库的端口用户名用于连接待目标端数据库的用户名称密码用于连接待目标端数据库的用户的密码数据库目标端用于接收源端数据的数据库名称模式目标端用于接收源端数据的模式(schema)名称

来自：
帮助文档
云迁移服务CMS
用户指南
数据库迁移服务模块
数据传输
数据迁移
任务创建
自建SQL Server为源的迁移任务配置
自建SQL Server迁移至自建SQL Server
GetBilledStorageUsage
用户可以根据需求,查询指定存储桶、指定数据位置、指定存储类型的容量。请求参数名称描述是否必须ActionGetBilledStorageUsage。是BeginDate指定查询容量的起始时间,统计数据的起始时间为开始日期(时区为:UTC+8)的00:00。类型:Time取值:格式为yyyy-MM-dd。是EndDate 指定查询容量的结束时间,返回数据的时间为当天日期(时区为:UTC+8)的最后一个数据。类型:Time取值:格式为yyyy-MM-dd。

来自：
帮助文档
对象存储（经典版）I型
API参考
统计分析
统计API
GetBilledStorageUsage
恢复方案概览
场景功能相关操作恢复数据按备份集恢复数据按备份集恢复数据将数据恢复至指定时间点将数据恢复至指定时间点 ZOS备份数据上云 ZOS备份数据上云跨域恢复跨域恢复

来自：
帮助文档
关系数据库SQL Server版
用户指南
备份与恢复
恢复
恢复方案概览
购买什么版本的HSS能够满足等保二级的整改要求？
根据《网络安全等级保护定级指南》,需要进行二级等保服务的信息系统主要包括以下几类:承载涉及国家秘密或者重要数据的政府部门、事业单位、企业单位、社会团体等组织机构的内部管理类信息系统;承载涉及大量个人隐私数据或者重要数据的互联网平台类信息系统;承载涉及大量个人隐私数据或者重要数据的云计算平台/系统;承载涉及大量个人隐私数据或者重要数据的物联网;承载涉及大量个人隐私数据或者重要数据的工业控制系统;承载涉及大量个人隐私数据或者重要数据的移动互联技术。

来自：
帮助文档
企业主机安全
常见问题
咨询类
购买什么版本的HSS能够满足等保二级的整改要求？
可视化建模概述
; 存储策略(非必须):已在命名词典定义存储策略,如日增量(di)、日全量(df); 维度(非必须):已定义维度,用于表达该维表是什么维度;...数据标准(非必须):已定义数据标准,在字段管理时引用标准; 数据指标(非必须):已定义数据指标,在字段管理时关联指标。

来自：
帮助文档
大数据管理平台 DataWings
用户指南
数据建模
规范建模
维度建模
可视化建模
可视化建模概述
安全相关
内容审核传输的数据是否经过加密呢? 天翼云内容审核采用天翼云官网标准EOP网关,在整个数据传输过程中,从源端到目的端,都采取了一系列的安全措施,包括身份验证、加密技术和授权机制、数据完整性保护机制和数据恢复机制等,这些措施可以确保数据传输的安全性和可靠性,提高系统的安全性。若您的数据比较敏感、安全保密性要求高的话,可考虑使用私有化部署。使用内容审核服务,图片数据是否会存储? 天翼云一直注重保护客户隐私,图片数据不会存储。

来自：
帮助文档
内容审核
常见问题
安全相关
概述
VPC网络安全策略放通需要在其他云数据库实例所在的VPC放通以上【DTS实例的配置流程】中配置的公网IP的访问权限,一般包括网络ACL和实例安全组,具体可参考各厂商云数据库官方文档进行操作。数据库添加白名单数据库需要添加【DTS实例的配置流程】中配置的公网IP远程访问数据库的权限。不同类型的数据库添加白名单的方法可能不一样,具体可参考各数据库官方文档进行操作。

来自：
帮助文档
数据传输服务DTS
最佳实践
其他云MySQL迁移到RDS for MySQL
概述
配置MySQL源端参数
作业中源连接为配置MySQL数据库连接,源端作业参数如下表所示。表 MySQL作为源端时的作业参数参数类型参数名说明取值样例基本参数使用SQL语句导出关系型数据库的数据时,您可以选择使用自定义SQL语句导出。否基本参数 SQL语句 “使用SQL语句”选择“是”时,您可以在这里输入自定义的SQL语句,CDM将根据该语句导出数据。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据集成
管理作业
配置作业源端参数
配置MySQL源端参数
云硬盘概述
数据备份支持使用手动创建或自动创建快照,保护云盘历史数据。同时支持采用虚拟机备份和云盘备份来保护数据,备份需额外购买对象储存资源来存放数据。数据删除您删除的数据将无法找回,分布式存储系统中已删除的数据会被完全擦除,如想找回建议提前创建快照。当您释放云盘时,存储系统会销毁源数据,所有数据将无法找回,该云盘对应的物理存储空间会被回收。

来自：
帮助文档
智能边缘云
用户指南
边缘存储
云硬盘
云硬盘概述
恢复备份到当前实例
本节主要介绍恢复备份到当前实例恢复集群备份到当前实例— 新增文档数据库服务支持使用已有的自动备份或手动备份恢复实例数据到当前实例,恢复后的数据与该备份生成时的实例数据一致。选择通过备份文件恢复到实例上,会从OBS备份空间中将该备份文件下载到实例上进行全量恢复,恢复时长和实例的数据量有关,平均恢复速率为40MB/s。使用须知恢复到当前实例会导致实例数据被覆盖,且恢复过程中实例将不可用,请谨慎使用。恢复成功后,数据库实例的管理员密码与恢复前一致。

来自：
帮助文档
文档数据库服务
用户指南
数据恢复
恢复备份到当前实例
配置Hive源端参数
该参数支持配置为时间宏变量,实现抽取指定日期的数据。 age > 18 and age <= 60 说明 Hive作为数据源,CDM自动使用Hive数据分片文件进行数据分区。

来自：
帮助文档
数据治理中心 DataArts Studio
用户指南
数据集成
管理作业
配置作业源端参数
配置Hive源端参数
查看分区状态
根据分区状态,可以进行容量规划,确保有足够的存储空间来存储数据,并预测未来的数据增长趋势。数据迁移和重平衡:当需要进行数据迁移或者重平衡时,查看分区状态可以帮助确定合适的迁移方案和平衡策略。通过了解每个分区的状态和负载情况,可以更好地规划和执行数据迁移和重平衡操作。容错和冗余管理:通过查看分区状态,可以了解每个分区的副本分布情况和数据冗余情况。如果某个分区的副本数量不足或者副本分布不均衡,可以采取相应的措施来提高数据的容错性和冗余能力。

来自：
帮助文档
分布式消息服务Kafka
用户指南
Topic管理
查看分区状态
图形审计
可审计对象为授权的资产数据角色产生的图形访问会话,支持访问实时播放和回放、键盘记录、剪切板记录和中断会话。操作步骤1.管理员登录并切换至“审计角色”,选择“会话日志 > 图形审计”。2.单击“操作”列的“键盘”或“更多 > 剪切板”可查看记录。结束时间为空说明是活动会话,单击“播放”可实时观看会话,单击“中断”可中断该会话。

来自：
帮助文档
云堡垒机（原生版）
用户指南
管理员手册
会话日志
图形审计
服务概览
源端多版本迁移服务默认迁移源端多版本对象中的最新版本,不支持迁移历史版本的数据。源端归档数据归档数据需解冻后才能迁移。请您务必先全部解冻源端的归档数据,未解冻和解冻中的数据会迁移失败。请您根据待迁移的数据总量确保解冻时长,以防迁移期间数据再次变成冻结状态。归档存储类型需要用户进行数据取回操作(即:解冻操作),该操作可能会收取数据取回费用,具体计费规则可咨询您的源端存储服务提供商。目的端存储类型支持标准存储、低频存储、归档存储。迁移单对象大小最大支持迁移单个对象大小为48.8TB。

来自：
帮助文档
对象存储
控制台指南
对象存储迁移服务
服务概览
CMS-SMS服务器迁移与MySQL应用割接
模拟迁移过程中,源机数据库在业务运行时的增删改查操作,在增量阶段往源机数据库写入数据(在表table_1中插入6769000条数据),具体效果如下图所示。 MySQL应用割接准备进行迁移业务割接操作,首先停止源端机数据库服务。 (注意:本停库方式适用于本系统使用的Mysql数据库版本,该停库方式仅做参考。实际环境中因涉及环境及版本复杂,相关操作和命令可能会有所不同,请参考相应版本的官方文档或联系数据库管理员以获取准确的信息和操作步骤。

来自：
帮助文档
云迁移服务CMS
最佳实践
服务器迁移服务模块
百G级MySQL服务器迁移最佳实践
CMS-SMS服务器迁移与MySQL应用割接
GetCapacity
Freq统计数据的采样粒度:by5min:统计数据的采样粒度为5分钟。byHour:统计数据的采样粒度为1小时。byDay:统计数据的采样粒度为1天。BucketNameBucket名字。如果用户在请求中没有携带Bucket参数,BucketName为空。RegionName数据位置,如果用户在请求中没有携带Region参数,RegionName为空。Statistics.Date返回结果对应的时间:当请求参数Freq为by5min或byHour时,返回格式为yyyy-MM-dd HH:mm。

来自：
帮助文档
对象存储（经典版）I型
API参考
统计分析
统计API
GetCapacity
应用场景
Redis应用场景很多大型电商网站、视频直播和游戏应用等,存在大规模数据访问 ,对数据查询效率要求高 ,且数据结构简单 , 不涉及太多关联查询。这种场景使用Redis,在速度上对传统磁盘数据库有很大优势,能够有效减少数据库磁盘IO,提高数据查询效率,减轻管理维护工作量,降低数据库存储成本。Redis对传统磁盘数据库是一个重要的补充,成为了互联网应用,尤其是支持高并发访问的互联网应用必不可少的基础服务之一。

来自：
帮助文档
分布式缓存服务Redis版
产品简介
应用场景
产品规格
标准存储低频存储归档存储存储成本中等较低非常低访问频率高低非常低数据访问延迟大文件场景:低小文件高并发场景:低大文件场景:低小文件高并发场景:较高大文件场景:低小文件高并发场景:较高最低存储时间无 30天 90天数据安全性高高高数据存储用途经常访问的数据低频访问的数据长期存档和备份数据取回不涉及按实际取回数据量收费按实际解冻数据量收费适用场景适用于频繁访问(平均一月访问多次)的存储场景,比如移动应用、网站

来自：
帮助文档
对象存储
产品简介
产品规格

天翼云最新活动

618智算钜惠季

爆款云主机2核4G限时秒杀，88元/年起！

免费体验DeepSeek，上天翼云息壤

新老用户均可免费体验2500万Tokens，限时两周

云上钜惠

爆款云主机全场特惠，更有万元锦鲤券等你来领！

算力套餐

让算力触手可及

天翼云脑AOne

连接、保护、办公，All-in-One！

中小企业应用上云专场

产品组合下单即享折上9折起，助力企业快速上云

息壤高校钜惠活动

天翼云息壤杯高校AI大赛，数款产品享受线上订购超值特惠

天翼云电脑专场

移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！

智算服务

应用商城

合作伙伴

开发者

支持与服务

了解天翼云

天翼云最新活动

产品推荐

GPU云主机

轻量型云主机

弹性伸缩服务

一体化计算加速平台·异构计算

算力互联调度平台

一站式智算服务平台

人脸检测

是否戴口罩识别

图片鉴黄

推荐文档

全面了解天翼云⑧：NFS安装教程

重置密码

个性化工作台

产品优势