前提条件
- 已购买独享调度资源组,并已绑定好VPC网络,确保调度资源组与翼MR集群间网络连通
注意购买资源组时,请尽量确保资源组和DataWings在同一个可用区,否则可能需要额外购买对等连接打通VPC网络。
使用限制
- 仅支持使用独享调度资源组在DataWings运行大数据计算任务。
页面进入
单击左上方的图标,选择全部产品 > 系统管理 > 集群管理 > 引擎管理
功能说明
新增计算引擎
1、配置引擎基本信息
参数 | 说明 |
---|---|
引擎实例名称 | 当前引擎在DataWings的名称,用于表示当前引擎的配置信息 |
访问模式 | DataWings提供了简单模式和安全模式2种引擎访问方式 简单模式:DataWings用户绑定同一个翼MR集群用户,所有引擎任务使用同一个集群用户身份提交执行任务 安全模式:您可为每一个DataWings用户指定不同的翼MR集群用户,引擎任务提交执行时使用对应的集群用户身份(即将上线) |
集群名称 | 已注册的集群名称,详情请见集群注册 |
2、配置资源组信息
资源组名称:已购买的独享调度资源组
测试连通性:您需要确保调度资源组与集群之间网络是互通的,才能成功创建引擎以及执行引擎任务。
3、配置引擎信息
注意引擎初始化完成后,您需要进一步配置引擎信息,才能完成引擎的上线。
参数 | 说明 |
---|---|
是否启用hudi | 若您购买的翼MR集群包含spark-hudi客户端,您可以选择启用hudi,启用后在数据分析模块,您可以创建hudi类型的数据分析任务 |
队列 | 当前引擎可以使用的集群队列列表 |
default队列 | 当前引擎默认使用的队列 |
访问身份配置 | 当访问模式是简单模式时,您需要选择一个集群用户作为统一提交引擎任务的身份; 当访问模式是安全模式时,您需要为DataWings账号绑定集群账号(ldpa账号),未绑定的账号将无法正常执行引擎任务 |
4、默认数据源及数据地图采集器
数据湖引擎:数据湖引擎上线后,系将将为您自动创建hive数据源及doris数据源(如有登记doris信息)、元数据采集器(若您购买的版本包含数据地图功能)
数据分析引擎:数据分析引擎上线后,系统将为您自动创建doris数据源、元数据采集器(若您购买的版本包含数据地图功能)
引擎其他操作说明
操作 | 说明 |
---|---|
查看 | 查看引擎信息 |
编辑 | 编辑引擎信息 |
下线 | 针对已上线、上线待配置状态的引擎,您可以下线当前引擎。 引擎下线后,资源组服务将关闭,您将无法提交任务至当前引擎,已经执行的任务将不受影响,数据源、元数据采集也不受影响 |
上线 | 针对已下线、引擎异常状态的引擎,您可以上线引擎(所有资源组节点或异常节点),上线过程中将启动资源组节点服务 |
删除 | 针对已下线的引擎,且您不再使用当前集群,您可以删除此引擎,引擎删除后,将会自动删除此引擎的相关业务信息, 包括内置数据源、内置元数据采集器、数据建模、数据质量规则等,请谨慎操作。 |
日志 | 针对上线、下线流程,您可以查看引擎相关日志 |