配置数据连接
翼MapReduce的数据连接是用来管理集群中组件使用的外部源连接,如Hive、Ranger、Amoro、Hue、DolphinScheduler服务的元数据使用外部的关系型数据库,可以通过数据连接关联数据库与组件。
选择在翼MR集群部署Hive、Ranger、Amoro、Hue、DolphinScheduler组件服务时,翼MR提供关系数据库MySQL版(CT-RDS MySQL)的元数据存储方式。在进行数据连接时,请选择关联与当前集群同一虚拟私有云(VPC)下的MySQL数据库,元数据将存储于关联的数据库中,不会随当前集群的删除而删除,多个翼MR集群可共享同一份元数据。
前置操作
- 登录“关系数据库MySQL版”管理控制台。
- 点击菜单栏“MySQL”-“实例管理”进入页面,选择希望翼MR连接的数据库实例。
- 点击实例名称,进入实例详情页。选择“数据库管理”tab页,单击“创建数据库”即可创建新的数据库。
- 可按需前往“账号管理”页,点击“创建账号”,创建非root用户账号,并为该账号授予数据库的操作权限。
配置连接
在创建集群以及在集群服务管理内进行新增服务时,可能涉及Hive、Ranger、Amoro、Hue、DolphinScheduler服务的元数据配置工作,您可通过填写前置操作中创建的数据库信息,进行数据连接。Hive、Ranger、Amoro、Hue、DolphinScheduler配置信息类型相同,所需参数可参考下图:
配置信息说明
当您选择部署Hive、Ranger、Amoro、Hue或DolphinScheduler集群服务时,需要填写元数据库有关的五项配置,包括数据库主机、数据库端口、数据库名称、数据库用户名、数据库密码。
-
数据库主机与端口:开通MySQL实例后,可从基本信息中获取主机与端口号信息。
-
数据库名称:开通MySQL实例后,可在数据库管理页面创建数据库并设置数据库名称。建库时,字符集建议选择utf8mb4,校验规则推荐选择utf8mb4_unicode_ci。
-
数据库用户名与密码:开通实例后,可前往账号管理创建账户,并为该账号授予目标数据库的权限。请确保填写的用户拥有该数据库的读写权限。
重置元数据库配置
创建集群时,若元数据库配置错误,将导致Hive、Ranger、Amoro、Hue、DolphinScheduler异常,但不影响集群的创建与部署,集群创建后,您可前往Manager的集群服务,进入集群服务详情,通过运维操作中的“元数据库配置”操作,替换原有元数据库的配置信息。