前提条件
- 已购买开通翼MapReduce产品。
- 已注册资源组。
进入页面
- 单击左上方的图标
,选择全部产品 > 数据集成 > 集成集群管理 > 集群注册。
新增集群
- 登录翼MR Manager,下载Flink配置文件。
进入翼MapReduce控制台。点击已购买的数据湖集群。
点击“翼MR Manager”页签,再点击“前往翼MR Manager”按钮,进入集群管理。
选择运维与配置 > 配置管理-配置管理概述, 选择Flink集群,下载default配置组下的flink-conf.yaml文件。
- 在集群注册页面,单击新增集群。
- 填写基本信息。
基本信息 | 说明 |
---|---|
集群类型 | 必填项,支持FLINK ON YARN类型。 |
组件版本 | 必填项,选择部署的组件版本,当前支持Flink1.16.0。 |
集群名称 | 必填项,输入集群名称。 |
所属资源 | 必填项,选择已配置的翼MR资源组。 |
执行模式 | 必填项,支持Yarn Application类型。 |
- 上传Flink配置文件。
将配置文件上传到集群注册。
注意该配置文件需包含classloader.resolve-order: parent-first,否则无法运行任务。
填写yarn代理地址,可以通过该地址访问在yarn上运行的实例详情页面。
yarn代理地址获取方式如下:
进入翼MapReduce控制台。点击已购买的数据湖集群。
点击“节点管理”页签,找到安装ResourceManager的节点,点击“更多”绑定弹性IP。
说明地址格式为:http://{绑定的弹性IP}:{ResourceManager端口}/proxy。注意该端口需加入安全组。
加入安全组操作如下:
- 确认安装路径,点击“安装”部署集成所需组件(Flink CDC和SeaTunnel)到指定的HDFS路径下,注意您需有该路径的写入权限。
- 填写高级配置,若不填将使用flink-conf.yaml文件中的配置配置。信息填写完毕后点击“确认”按钮即可新增集群。
高级配置 | 说明 |
---|---|
执行队列 | yarn.application.queue,用于指定数据集成任务在yarn的执行队列。 |
Task Slot并发数 | taskmanager.numberOfTaskSlots,可用于执行并行任务的资源单元。用于任务分配、负载均衡以及容错和高可用性的实现。 Task Slot并发数是静态的概念,是指taskmanager具有的并发执行能力。 |
Jobmanager内存配置 | jobmanager.memory.process.size,jobmanager进程总内存。 |
Taskmanager内存配置 | taskmanager.memory.process.size,taskmanager进程总内存。 |
Checkpoint间隔C | Checkpoint 间隔是指在运行过程中,每隔多长时间触发一次 Checkpoint。Checkpoint 会占用一定的计算资源和存储资源,合理的 Checkpoint 间隔可以确保在发生故障时,能够快速恢复同步任务。如果对性能要求较高,可以适当增加 Checkpoint 的间隔时间。 |
最大重启次数 | 最大重启次数是指在任务失败时,尝试重启的最大次数。 |
其他配置 | 其他Flink运行配置,多个配置以逗号,分隔。 |
Checkpoint | 实时同步任务建议开启。开启 Checkpoint ,支持从指定 Checkpoint 恢复同步状态。 |
测试连接
注册集群后,点击“测试连接”按钮测试集群是否联通。
查看集群详情
注册集群后,点击“详情”按钮查看集群的详细信息。
禁用集群
当该集群下没有关联的同步任务时,您可以禁用不再需要的集群。
- 选择需要禁用的集群卡片。
- 点击集群右侧“禁用”按钮。
编辑集群
注册集群后,您可以编辑现有集群的基本信息。
- 选择注册好的集群。
- 点击集群右侧“编辑”按钮。
- 修改集群信息或配置文件后,点击确定保存。
删除集群
当该集群下没有关联的同步任务时,您可以删除不再需要的集群。
- 选择需要删除的集群卡片。
- 点击集群右侧“删除”按钮。