活动
天翼云最新优惠活动，涵盖免费试用，产品折扣等，助您降本增效！
热门活动
- 618智算钜惠季 爆款云主机2核4G限时秒杀，88元/年起！
- 免费体验DeepSeek，上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens，限时两周
- 云上钜惠 HOT 爆款云主机全场特惠，更有万元锦鲤券等你来领！
- 算力套餐 HOT 让算力触手可及
- 天翼云脑AOne NEW 连接、保护、办公，All-in-One！
- 中小企业应用上云专场 产品组合下单即享折上9折起，助力企业快速上云
- 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛，数款产品享受线上订购超值特惠
- 天翼云电脑专场 HOT 移动办公新选择，爆款4核8G畅享1年3.5折起，快来抢购！
- 天翼云奖励推广计划 加入成为云推官，推荐新用户注册下单得现金奖励
行业应用
合作伙伴
天翼云携手合作伙伴，共创云上生态，合作共赢
开发者
开发者相关功能入口汇聚
数据集成工具_相关内容
- 数据治理中心DataArts Studio与其他服务的关系MapReduce服务 DataArts Studio支持将MapReduce服务(简称MRS)作为数据湖底座,进行数据集成、开发与治理。 云数据仓库服务 DataArts Studio支持将云数据仓库服务(GaussDB(DWS),简称DWS)作为数据湖底座,进行数据集成、开发、治理与开放。 云数据库服务 DataArts Studio支持将云数据库服务(Relational Database Service,简称RDS)作为作为数据源,进行数据集成、开发与开放。
- DataArts Studio支持的数据源DataArts Studio支持的数据源 DataArts Studio支持的数据源可分为“数据集成组件支持的数据源”和“DataArts Studio其他组件支持的数据源”。 数据集成组件支持的数据源。数据集成组件需要集成源数据到数据湖中,因此支持的数据源范围更广。 数据集成支持的数据源请参见 支持的数据源。注意,如需在数据集成中使用这些数据源,请先在数据集成中创建对应的数据连接,这些数据连接仅限于在数据集成模块中使用。
- 投递日志数据至LTS本节将介绍如何将集成的日志数据投递至LTS。 操作场景 态势感知(专业版)支持集成WAF、HSS、CFW等其他云产品日志,具体集成操作及支持集成的云服务请参见数据集成。 集成后的日志还支持投递至云日志服务(Log Tank Service,简称LTS),方便用户快速高效地进行实时决策分析、设备运维管理、用户业务趋势分析等。 前提条件 已完成需投递日志的数据集成至态势感知(专业版)操作,详细操作请参见数据集成。 投递到LTS中,需要已有可用的日志组和日志流。
- （可选）创建DataArts Studio增量包创建成功后,即可返回对应的工作空间查看已创建的数据集成集群。
- 应用场景本章节主要介绍数据治理中心 DataArts Studio主要应用场景。 云上数据平台快速搭建 快速将线下数据迁移上云,将数据集成到云上大数据服务中,并在DataArts Studio的界面中就可以进行快速的数据开发工作,让企业数据体系的建设变得如此简单。 优势 数据集成一键式操作 通过在服务界面配置化操作,可实现线上线下数据快速集成到云数据仓库。 支持多种数仓服务类型 根据需求,可以灵活选择数据服务类型,可以选择DWS服务建数仓,也可以选择MRS服务等数据平台。
- 功能特性本章节主要介绍数据治理中心DataArts Studio的主要功能特性。 数据集成:多种方式异构数据源高效接入DataArts Studio数据集成支持批量数据迁移和实时数据接入两种方式。 批量数据迁移 批量数据迁移提供20+同构/异构数据源之间批量数据迁移的功能,帮助您实现数据自由流动。支持自建和云上的文件系统,关系数据库,数据仓库,NoSQL,大数据云服务,对象存储等数据源。
- 查看集群基本信息/修改集群配置详见下图:集群列表 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.单击集群名称,可查看集群的基本信息。详见下图:CDM集群的配置信息 修改集群配置 1.登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。详见下图:集群列表 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.单击集群名称后,选择“集群配置”页签,可修改消息通知、用户是否隔离的配置。
- ROMA FDI Job功能 通过ROMA FDI Job节点执行一个预先定义的ROMA Connect数据集成任务,实现源端到目标端的数据集成转换。 原理 该节点方便用户启动或者查询FDI任务是否正在运行。 参数 ROMA FDI Job的参数配置,请参考以下内容: 属性参数 参数 是否必选 说明 ROMA实例 是 选择一个已存在的ROMA实例。 FDI任务 是 选择一个已存在的ROMA FDI任务。
- 创建DataArts Studio基础包可用区可用区1选择DataArts Studio实例可用区,即数据集成CDM集群所在可用区。DataArts Studio实例通过数据集成CDM集群与其他服务实现网络互通。第一次购买DataArts Studio实例或增量包时,可用区无要求。再次购买DataArts Studio实例或增量包时,是否将资源放在同一可用区内,主要取决于您对容灾能力和网络时延的要求。l 如果您的应用需要较高的容灾能力,建议您将资源部署在同一区域的不同可用区内。
- 产品功能数据集成功能说明: 功能模块 功能详情 数据集成 云内置采集系统,支持一键集成存储、管理与监管、安全等多种云产品的日志数据。集成后,可以检索并分析所有收集到的日志。
- 使用DataArts Studio前的准备1.创建数据库 在使用DataArts Studio数据集成将数据迁移上云之前,我们需要在目的端数据湖中创建目标数据库。根据数据湖治理落地流程,建议您在数据湖中为SDI层、DWI层、DWR层和DM层分别创建一个数据库,从而对数据进行分层分库。数据分层是后面在数据架构中将涉及到的概念,此处可先简单了解,在数据架构时将深入了解与操作。 您可以参考以下任一一种方式在数据湖中创建数据库。
- 产品定义本章节主要介绍数据治理中心DataArts Studio的产品定义。 数据治理中心 DataArts Studio,是为了应对企业数据管理问题、针对企业数字化运营诉求提供的数据全生命周期管理、具有智能数据管理能力的一站式治理运营平台。 数据治理中心 DataArts Studio包含数据集成、数据开发等功能,支持行业知识库智能化建设,支持大数据存储、大数据计算分析引擎等数据底座,帮助企业快速构建从数据接入到数据分析的端到端智能数据系统,消除数据孤岛,统一数据标准,加快数据变现,实现数字化转型。
- 删除集群删除CDM集群后集群以及数据都销毁且无法恢复,请您谨慎操作! 删除集群前,请您确认如下注意事项: 待删除集群确认已不再使用,且其中的连接和作业数据您已通过批量管理作业章节中的 导出作业功能 进行备份。 前提条件 已创建CDM集群。 删除集群 1.登录CDM管理控制台。单击左侧导航上的“集群管理”,进入集群管理界面。 集群列表详见下图 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.选择集群操作列中的“更多 > 删除”,进入删除集群确认界面。
- 约束与限制关于数据集成中的更多约束限制,请参考用户指南中“数据集成-> 约束与限制”章节。数据开发数据开发脚本、作业等资产支持备份管理,将备份数据存储到OBS中,该功能需要您手动开启。详情请参见用户指南中“数据开发 > 运维调度 > 备份管理”章节。脚本、作业或节点的历史运行记录依赖于OBS桶,如果未配置测试运行历史OBS桶,则无法查看历史运行的详细信息。上传资源时,如果资源位置为HDFS,则只支持MRS Spark,MRS Flink Job,MRS MapReduce节点使用该资源。
- 约束与限制功能和约束与限制 功能 单机实例 主备实例/集群版实例 数据库数量 100 100 数据库帐号数量 无限制 无限制 邮件功能 不支持 不支持 数据集成功能(SSIS) 不支持 不支持 数据分析功能(SSAS) 不支持 不支持 数据报表功能(SSRS) 不支持 不支持 R语言服务 不支持 不支持 公共语言运行时集成(CLR) 不支持 不支持 异步消息通讯 不支持 不支持 复制订阅功能 不支持 不支持 策略管理 不支持 不支持
- 产品优势本章节主要介绍数据治理中心DataArts Studio产品的优势。 一站式数据运营平台 贯穿数据全流程的一站式治理运营平台,提供全域数据集成、标准规范设计、连接并萃取数据价值、全流程数据质量监控、统一数据资产管理、数据开发服务等,帮助企业构建完整的数据中台解决方案。
- 解绑/绑定集群的EIP集群列表详见下图 说明 “创建来源”列仅通过DataArts Studio服务进入数据集成界面可以看到。 2.对相应需要操作的集群可以进行绑定EIP或解绑EIP的操作。 绑定EIP:单击集群操作列中的“绑定弹性IP”,进入EIP选择界面。 解绑EIP:选择“更多 > 解绑弹性IP”。 3.单击“确定”绑定或解绑EIP。
- 配置数据血缘数据集成类型节点 目前支持对CDM Job节点、ETL Job节点和OBS Manager节点的血缘解析。 CDM Job 支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。 ETL Job 支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。 OBS Manager 支持OBS之间目录和文件复制迁移产生的血缘。 说明 当前血缘解析能力,单条sql语句不支持sql中含有分号的场景。
- 开发一个Hive SQL作业已开通数据集成CDM,并创建CDM集群,为数据开发模块提供数据开发模块与MRS通信的代理。 CDM集群创建时,需要注意:虚拟私有云、子网、安全组与MRS集群保持一致,确保网络互通。 建立Hive的数据连接 开发Hive SQL前,我们需要在“管理中心 > 数据连接”模块中建立一个到MRS Hive的连接,数据连接名称为“hive1009”。 关键参数说明: 集群名:已创建的MRS集群。 绑定Agent:已创建的CDM集群。
天翼云最新活动
售前咨询热线
400-810-9889转1
关注天翼云
©2025
天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
公司地址：北京市东城区青龙胡同甲1号、3号2幢2层205-32室
