Hive扩容 本章节主要介绍在Hive MetaStore实例进行Master扩容后,对其他相关服务的修改建议。 前置条件 1. Hive MetaStore完成扩容与配置生效操作。 2. 集群状态正常。 相关服务修改建议 Flink 如果用户配置了数据湖作业,那么就需要登录到所有的Flink client主机,在flink配置目录/user/local/flink/conf/中建立对/user/local/hive/conf/hivesite.xml的软链。 如果Hive MetaStore进行了节点扩容,需要更新该软链或文件,保证Flink使用到的是扩容后的hivesite.xml文件。 最后,根据扩容后的Hive MetaStore节点,更新数据湖作业中配置的hive.uri,并重启作业。 如果用户没有配置数据湖作业,则Flink不需要做任何操作。 Trino 通过翼MR Manager进入Trino集群的“配置管理”页面,修改hive.properties文件。 在参数hive.metastore.uri中按照实际情况填写metastore的地址;例如,三台Hive MetaStore的主机名为hostname1,hostname2,hostnam3,那么该配置的值应为thrift://hostname1:9083,thrift://hostname2:9083,hrift://hostname3:9083。 保存更改后,需要进行配置“同步”操作。 最后,重启Trino集群服务。 Spark 通过翼MR Manager进入Spark集群的“配置管理”页面,修改sparkdefaults.conf文件。 在参数spark.sql.catalog.sparkcatalog.uri中按照实际情况填写metastore的地址;例如,三台Hive MetaStore的主机名为hostname1,hostname2,hostnam3,那么该配置的值应为thrift://hostname1:9083,thrift://hostname2:9083,hrift://hostname3:9083。 保存更改后,需要进行配置“同步”操作。 最后,重启Spark集群服务。