活动

天翼云最新优惠活动,涵盖免费试用,产品折扣等,助您降本增效!
热门活动
  • 免费体验DeepSeek,上天翼云息壤 NEW 新老用户均可免费体验2500万Tokens,限时两周
  • 云上钜惠 HOT 爆款云主机全场特惠,更有万元锦鲤券等你来领!
  • 算力套餐 HOT 让算力触手可及
  • 天翼云脑AOne NEW 连接、保护、办公,All-in-One!
  • 一键部署Llama3大模型学习机 0代码一键部署,预装最新主流大模型Llama3与StableDiffusion
  • 中小企业应用上云专场 产品组合下单即享折上9折起,助力企业快速上云
  • 息壤高校钜惠活动 NEW 天翼云息壤杯高校AI大赛,数款产品享受线上订购超值特惠
  • 天翼云电脑专场 HOT 移动办公新选择,爆款4核8G畅享1年3.5折起,快来抢购!
  • 天翼云奖励推广计划 加入成为云推官,推荐新用户注册下单得现金奖励
免费活动
  • 免费试用中心 HOT 多款云产品免费试用,快来开启云上之旅
  • 天翼云用户体验官 NEW 您的洞察,重塑科技边界

智算服务

打造统一的产品能力,实现算网调度、训练推理、技术架构、资源管理一体化智算服务
智算云(DeepSeek专区)
科研助手
  • 算力商城
  • 应用商城
  • 开发机
  • 并行计算
算力互联调度平台
  • 应用市场
  • 算力市场
  • 算力调度推荐
一站式智算服务平台
  • 模型广场
  • 体验中心
  • 服务接入
智算一体机
  • 智算一体机
大模型
  • DeepSeek-R1-昇腾版(671B)
  • DeepSeek-R1-英伟达版(671B)
  • DeepSeek-V3-昇腾版(671B)
  • DeepSeek-R1-Distill-Llama-70B
  • DeepSeek-R1-Distill-Qwen-32B
  • Qwen2-72B-Instruct
  • StableDiffusion-V2.1
  • TeleChat-12B

应用商城

天翼云精选行业优秀合作伙伴及千余款商品,提供一站式云上应用服务
进入甄选商城进入云市场创新解决方案
办公协同
  • WPS云文档
  • 安全邮箱
  • EMM手机管家
  • 智能商业平台
财务管理
  • 工资条
  • 税务风控云
企业应用
  • 翼信息化运维服务
  • 翼视频云归档解决方案
工业能源
  • 智慧工厂_生产流程管理解决方案
  • 智慧工地
建站工具
  • SSL证书
  • 新域名服务
网络工具
  • 翼云加速
灾备迁移
  • 云管家2.0
  • 翼备份
资源管理
  • 全栈混合云敏捷版(软件)
  • 全栈混合云敏捷版(一体机)
行业应用
  • 翼电子教室
  • 翼智慧显示一体化解决方案

合作伙伴

天翼云携手合作伙伴,共创云上生态,合作共赢
天翼云生态合作中心
  • 天翼云生态合作中心
天翼云渠道合作伙伴
  • 天翼云代理渠道合作伙伴
天翼云服务合作伙伴
  • 天翼云集成商交付能力认证
天翼云应用合作伙伴
  • 天翼云云市场合作伙伴
  • 天翼云甄选商城合作伙伴
天翼云技术合作伙伴
  • 天翼云OpenAPI中心
  • 天翼云EasyCoding平台
天翼云培训认证
  • 天翼云学堂
  • 天翼云市场商学院
天翼云合作计划
  • 云汇计划
天翼云东升计划
  • 适配中心
  • 东升计划
  • 适配互认证

开发者

开发者相关功能入口汇聚
技术社区
  • 专栏文章
  • 互动问答
  • 技术视频
资源与工具
  • OpenAPI中心
开放能力
  • EasyCoding敏捷开发平台
培训与认证
  • 天翼云学堂
  • 天翼云认证
魔乐社区
  • 魔乐社区

支持与服务

为您提供全方位支持与服务,全流程技术保障,助您轻松上云,安全无忧
文档与工具
  • 文档中心
  • 新手上云
  • 自助服务
  • OpenAPI中心
定价
  • 价格计算器
  • 定价策略
基础服务
  • 售前咨询
  • 在线支持
  • 在线支持
  • 工单服务
  • 建议与反馈
  • 用户体验官
  • 服务保障
  • 客户公告
  • 会员中心
增值服务
  • 红心服务
  • 首保服务
  • 客户支持计划
  • 专家技术服务
  • 备案管家

了解天翼云

天翼云秉承央企使命,致力于成为数字经济主力军,投身科技强国伟大事业,为用户提供安全、普惠云服务
品牌介绍
  • 关于天翼云
  • 智算云
  • 天翼云4.0
  • 新闻资讯
  • 天翼云APP
基础设施
  • 全球基础设施
  • 信任中心
最佳实践
  • 精选案例
  • 超级探访
  • 云杂志
  • 分析师和白皮书
  • 天翼云·创新直播间
市场活动
  • 2025智能云生态大会
  • 2024智算云生态大会
  • 2023云生态大会
  • 2022云生态大会
  • 天翼云中国行
天翼云
  • 活动
  • 智算服务
  • 产品
  • 解决方案
  • 应用商城
  • 合作伙伴
  • 开发者
  • 支持与服务
  • 了解天翼云
      • 文档
      • 控制中心
      • 备案
      • 管理中心

      查看所有产品

      大数据管理平台 DataWings

      大数据管理平台 DataWings

        • 产品动态
        • 产品介绍
        • 产品定义
        • 产品优势
        • 应用场景
        • 核心能力
        • 计费说明
        • 产品规格
        • 计费模式
        • 公测申请
        • 续订/退订
        • 快速入门
        • 客户控制台
        • 创建集群
        • 引擎配置
        • 创建数据源
        • 添加库表HDFS权限
        • 用户指南
        • 首页
        • 数据源
        • 数据源概述
        • 数据源管理
        • 数据建模
        • 数据建模概述
        • 建模首页
        • 数据标准
        • 命名词典
        • 字段标准
        • 标准值域
        • 度量单位
        • 规范管理
        • 标准配置
        • 数仓规划
        • 业务分类
        • 数仓分层
        • 规划配置
        • 数仓要素
        • 数据指标
        • 原子指标
        • 业务限定
        • 统计周期
        • 维度
        • 派生指标
        • 复合指标
        • 规范建模
        • 维度建模
        • 可视化建模
        • 可视化建模概述
        • 新建接入表
        • 新建维度表
        • 新建事实表
        • 新建汇总表
        • 新建应用表
        • 新建其他表
        • 导入方式建模
        • 管理表模型
        • 查看表详情
        • 逆向建模
        • 数据集成
        • 数据集成概述
        • 集成集群管理
        • 资源组
        • 集群注册
        • 同步任务
        • 任务创建
        • 任务管理
        • 数据处理
        • 数据开发
        • 项目管理
        • 工作流开发
        • 工作流模板
        • 工作流发布
        • 数据开发节点介绍
        • SparkSQL节点
        • 数据质量节点
        • 通用处理节点
        • 任务依赖节点
        • 任务调度
        • 调度大屏
        • 任务运维
        • 资源组监控
        • 基线管理
        • 即席查询
        • 用户空间
        • 数据库
        • 配置中心
        • 数据治理
        • 数据调研
        • 数据质量
        • 数据质量概述
        • 数据质量大屏
        • 规则管理
        • 数据质量规则列表
        • 创建数据质量规则
        • 试运行质量规则
        • 模板管理
        • 实例管理
        • 抑制管理
        • 质检报告
        • 数据质量分析
        • 数据治理360
        • 数据治理360概述
        • 开启使用
        • 健康诊断
        • 治理项问题
        • 治理项配置
        • 健康指南
        • 白名单
        • 数据地图
        • 数据地图概述
        • 数据发现
        • 地图配置
        • 资产首页
        • 数据总览
        • 数据检索
        • 我的数据
        • 元数据管理
        • 数据服务
        • 数据服务概述
        • 服务开发
        • 服务管理
        • 服务监控
        • 服务配置
        • 运维中心
        • 告警管理
        • 通道及对象管理
        • 告警实例
        • 值班表
        • 资源运维
        • 监控规则管理
        • 操作日志
        • 系统管理
        • 权限管理
        • 角色管理
        • 用户管理
        • 集群管理
        • 集群注册
        • 引擎管理
        • 流程中心
        • 我的申请
        • 我的审批
        • 我的导入
        • 权限申请
        • 消息中心
        • 最佳实践
        • 获取翼MapReduce数据湖集群信息
        • 电商行业数据建模实践
        • 常见问题
        • 常见产品问题
        • 购买类
        • 计费类
        • 文档下载
        • 大数据管理平台 DataWings用户手册
        • 视频专区
        • 相关协议
        • 大数据管理平台 DataWings公测服务协议
        • API参考
        • API
        • 2024-11-05 版本
        • 获取所有数据源的信息
        • 获取数据源插件和类型列表
        • 获取所有数据库的信息
          无相关产品

          本页目录

          帮助中心 大数据管理平台 DataWings 用户指南 数据集成 集成集群管理 集群注册
          集群注册
          更新时间 2025-02-28 14:03:16
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          最近更新时间: 2025-02-28 14:03:16
          分享文章
          • 新浪微博
          • 微信
            扫码分享
          • 复制链接
          集群注册用于注册数据集成服务集群。

          前提条件

          • 已购买开通翼MapReduce产品。
          • 已注册资源组。

          进入页面

          • 单击左上方的图标image.png,选择全部产品 > 数据集成 > 集成集群管理 > 集群注册。

          新增集群

          1. 登录翼MR Manager,下载Flink配置文件。

          进入翼MapReduce控制台。点击已购买的数据湖集群。

          点击“翼MR Manager”页签,再点击“前往翼MR Manager”按钮,进入集群管理。

          选择运维与配置 > 配置管理-配置管理概述, 选择Flink集群,下载default配置组下的flink-conf.yaml文件。

          image.png

          1. 在集群注册页面,单击新增集群。

          image.png

          1. 填写基本信息。

          image.png

          基本信息 说明
          集群类型 必填项,支持FLINK ON YARN类型。
          组件版本 必填项,选择部署的组件版本,当前支持Flink1.16.0。
          集群名称 必填项,输入集群名称。
          所属资源 必填项,选择已配置的翼MR资源组。
          执行模式 必填项,支持Yarn Application类型。
          1. 上传Flink配置文件。

          将配置文件上传到集群注册。

          image.png

          注意

          该配置文件需包含classloader.resolve-order: parent-first,否则无法运行任务。


          填写yarn代理地址,可以通过该地址访问在yarn上运行的实例详情页面。

          yarn代理地址获取方式如下:

          进入翼MapReduce控制台。点击已购买的数据湖集群。

          点击“节点管理”页签,找到安装ResourceManager的节点,点击“更多”绑定弹性IP。

          image.png

          说明

          地址格式为:http://{绑定的弹性IP}:{ResourceManager端口}/proxy。注意该端口需加入安全组。

          加入安全组操作如下:

          image.png

          image.png

          1. 确认安装路径,点击“安装”部署集成所需组件(Flink CDC和SeaTunnel)到指定的HDFS路径下,注意您需有该路径的写入权限。

          image.png

          1. 填写高级配置,若不填将使用flink-conf.yaml文件中的配置配置。信息填写完毕后点击“确认”按钮即可新增集群。

          image.png

          高级配置 说明
          执行队列 yarn.application.queue,用于指定数据集成任务在yarn的执行队列。
          Task Slot并发数 taskmanager.numberOfTaskSlots,可用于执行并行任务的资源单元。用于任务分配、负载均衡以及容错和高可用性的实现。
          Task Slot并发数是静态的概念,是指taskmanager具有的并发执行能力。
          Jobmanager内存配置 jobmanager.memory.process.size,jobmanager进程总内存。
          Taskmanager内存配置 taskmanager.memory.process.size,taskmanager进程总内存。
          Checkpoint间隔C Checkpoint 间隔是指在运行过程中,每隔多长时间触发一次 Checkpoint。Checkpoint 会占用一定的计算资源和存储资源,合理的 Checkpoint 间隔可以确保在发生故障时,能够快速恢复同步任务。如果对性能要求较高,可以适当增加 Checkpoint 的间隔时间。
          最大重启次数 最大重启次数是指在任务失败时,尝试重启的最大次数。
          其他配置 其他Flink运行配置,多个配置以逗号,分隔。
          Checkpoint 实时同步任务建议开启。开启 Checkpoint ,支持从指定 Checkpoint 恢复同步状态。

          测试连接

          注册集群后,点击“测试连接”按钮测试集群是否联通。

          image.png

          查看集群详情

          注册集群后,点击“详情”按钮查看集群的详细信息。

          image.png

          禁用集群

          当该集群下没有关联的同步任务时,您可以禁用不再需要的集群。

          1. 选择需要禁用的集群卡片。
          2. 点击集群右侧“禁用”按钮。

          image.png

          编辑集群

          注册集群后,您可以编辑现有集群的基本信息。

          1. 选择注册好的集群。
          2. 点击集群右侧“编辑”按钮。

          image.png

          1. 修改集群信息或配置文件后,点击确定保存。

          image.png

          删除集群

          当该集群下没有关联的同步任务时,您可以删除不再需要的集群。

          1. 选择需要删除的集群卡片。
          2. 点击集群右侧“删除”按钮。

          image.png

          上一篇 :  资源组
          下一篇 :  同步任务
          文档反馈

          建议您登录后反馈,可在建议与反馈里查看问题处理进度

          鼠标选中文档,精准反馈问题

          选中存在疑惑的内容,即可快速反馈问题,我们会跟进处理

          知道了

           文本反馈
          搜索
          ©2025 天翼云科技有限公司版权所有 增值电信业务经营许可证A2.B1.B2-20090001
          公司地址:北京市东城区青龙胡同甲1号、3号2幢2层205-32室
          备案 京公网安备11010802043424号 京ICP备 2021034386号
          ©2025天翼云科技有限公司版权所有
          京ICP备 2021034386号
          备案 京公网安备11010802043424号
          增值电信业务经营许可证A2.B1.B2-20090001
          用户协议 隐私政策 法律声明