活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 818算力跃迁·礼遇盛夏 NEW 爆款云主机2核2G限时秒杀，28.8元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云AI产品特惠 NEW 8折特惠，新老同享不限购
- 中小企业服务商合作专区 国家云助力中小企业腾飞，高额上云补贴重磅上线
- 出海产品促销专区 NEW 爆款云主机低至2折，高性价比，不限新老速来抢购！
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
大模型
智算一体机
模型适配专家服务
AI服务
教育应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
数据集成工具_相关内容
- 使用DataArts Studio前的准备1.创建数据库 在使用DataArts Studio数据集成将数据迁移上云之前,我们需要在目的端数据湖中创建目标数据库。根据数据湖治理落地流程,建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库,从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念,此处可先简单了解,在数据架构时将深入了解与操作。 您可以参考以下任一一种方式在数据湖中创建数据库。
- 产品定义本章节主要介绍数据治理中心DataArts Studio的产品定义。 数据治理中心 DataArts Studio,是为了应对企业数据管理问题、针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台。 数据治理中心 DataArts Studio包含数据集成、数据开发等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
- Kafka业务迁移应用场景 Kafka的业务迁移可以应用在多个领域和场景中,包括但不限于以下几个方面: 数据集成和数据仓库:Kafka可以用作数据集成的中间件,将分散的数据源集中到一个统一的平台上。通过使用Kafka的生产者和消费者,可以实现数据的可靠传输和消费,支持实时的数据集成和数据仓库的建设。 实时数据处理和流处理:Kafka提供了流处理功能,可以对实时数据流进行处理和分析。
- 约束与限制关于数据集成中的更多约束限制,请参考用户指南中“数据集成-> 约束与限制”章节。数据开发数据开发脚本、作业等资产支持备份管理,将备份数据存储到OBS中,该功能需要您手动开启。详情请参见用户指南中“数据开发 > 运维调度 > 备份管理”章节。脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。上传资源时,如果资源位置为HDFS,则只支持MRS Spark,MRS Flink Job,MRS MapReduce节点使用该资源。
- 删除集群删除CDM集群后集群以及数据都销毁且无法恢复,请您谨慎操作! 删除集群前,请您确认如下注意事项: 待删除集群确认已不再使用,且其中的连接和作业数据您已通过批量管理作业章节中的 导出作业功能 进行备份。 前提条件 已创建CDM集群。 删除集群 1.登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 集群列表详见下图 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.选择集群操作列中的“更多 > 删除”,进入删除集群确认界面。
- 约束与限制功能和约束与限制 功能 单机实例 主备实例/集群版实例 数据库数量 100 100 数据库帐号数量 无限制 无限制 邮件功能 不支持 不支持 数据集成功能(SSIS) 不支持 不支持 数据分析功能(SSAS) 不支持 不支持 数据报表功能(SSRS) 不支持 不支持 R语言服务 不支持 不支持 公共语言运行时集成(CLR) 不支持 不支持 异步消息通讯 不支持 不支持 复制订阅功能 不支持 不支持 策略管理 不支持 不支持
- 产品优势本章节主要介绍数据治理中心DataArts Studio产品的优势。 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台,提供全域数据集成、标准规范设计、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等,帮助企业构建完整的数据中台解决方案。
- 解绑/绑定集群的EIP集群列表详见下图 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.对相应需要操作的集群可以进行绑定EIP或解绑EIP的操作。 绑定EIP:单击集群操作列中的“绑定弹性IP”,进入EIP选择界面。 解绑EIP:选择“更多 > 解绑弹性IP”。 3.单击“确定”绑定或解绑EIP。
- 配置数据血缘数据集成类型节点 目前支持对CDM Job节点、ETL Job节点和OBS Manager节点的血缘解析。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 OBS Manager 支持OBS之间目录和文件复制迁移产生的血缘。 说明 当前血缘解析能力,单条sql语句不支持sql中含有分号的场景。
- 开发一个Hive SQL作业已开通数据集成CDM,并创建CDM集群,为数据开发模块提供数据开发模块与MRS通信的代理。 CDM集群创建时,需要注意:虚拟私有云、子网、安全组与MRS集群保持一致,确保网络互通。 建立Hive的数据连接 开发Hive SQL前,我们需要在“管理中心 > 数据连接”模块中建立一个到MRS Hive的连接,数据连接名称为“hive1009”。 关键参数说明: 集群名:已创建的MRS集群。 绑定Agent:已创建的CDM集群。
- 术语解释每个DataArts Studio实例具有用户指定的基础计算资源,包含管理中心、规范设计、数据集成、数据开发、数据质量、数据资产和数据服务七个模块。用户可根据业务需要申请相应规格的DataArts Studio实例。 工作空间 工作空间是从系统层面为管理者提供对使用DataArts Studio的用户(成员)权限、资源、DataArts Studio底层计算引擎配置的管理能力。 工作空间作为成员管理、角色和权限分配的基本单元,每个团队都可具有独立的工作空间。
- （可选）获取认证信息本章节主要介绍数据治理中心DataArts Studio如何获取认证信息。 DataArts Studio使用过程中,在数据集成创建OBS连接、API调用、使用问题定位时,您可能需要获取访问密钥、项目ID、终端节点等信息,获取方式如下。 获取访问密钥 您可以通过如下方式获取访问密钥。 登录控制台,在用户名下拉列表中选择“我的凭证”。 进入“我的凭证”页面,选择“访问密钥 > 新增访问密钥”,如图1所示。 图1 单击新增访问密钥 单击“确定”,根据浏览器提示,保存密钥文件。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
