前提条件
- 已购买翼MapReduce(以下简称翼MR)数据湖集群
操作步骤
- 进入翼MapReduce控制台
- 点击已购买的数据湖集群
- 点击manager进入集群管理
翼MR集群信息获取
获取翼MR集群配置文件
获取core-site.xml
操作步骤
1)点击运维与配置-配置管理
2)选择HDFS
3)下载default文件夹下core-site.xml文件
获取hdfs-site.xml
1)点击运维与配置-配置管理
2)选择HDFS
3)下载default文件夹下hdfs-site.xml文件
获取yarn-site.xml
1)点击运维与配置-配置管理
2)选择HDFS
3)下载default文件夹下yarn-site.xml文件
获取hive-site.xml
1)点击运维与配置-配置管理
2)选择Hive
3)下载default文件夹下hive-site.xml文件
获取spark-defaults.conf
1)点击运维与配置-配置管理
2)选择Spark
3)下载default文件夹下spark-default.conf文件
获取krb5.conf
1)点击运维与配置-配置管理
2)选择Kerbores集群
3)下载default文件夹下krb5.conf文件
获取hive.keytab
当前版本获取翼MR数据湖集群的hive.keytab较为复杂,已在下个版本优化
1)在天翼云控制中心购买一个弹性ip资源(完成keytab下载后可退订此资源)
2)在翼MR控制台点击节点管理,并选择一个master节点,点击更多-绑定弹性ip
绑定成功后如图:
3)本地scp下载hive.keytab(需输入翼MR集群主密码)
参考scp命令:
root@221.229.0.69:/etc/security/keytabs/hive.keytab
获取翼MR集群配置属性
1)获取yarn.resource.manager.address信息
信息 | 描述 |
---|---|
参考格式 | http://{yarn.resourcemanager.webapp.address.rm1};http://{yarn.resourcemanager.webapp.address.rm2} |
参考文件 | yarn-site.xml |
参考属性 | yarn.resourcemanager.webapp.address.rm1 yarn.resourcemanager.webapp.address.rm2 |
样例 | http://datawings01:8088;http://datawings02:8088 |
2)获取HiveServer2信息
信息 | 描述 |
---|---|
参考格式 | jdbc:hive2://{hive.zookeeper.quorum}/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace={hive.server2.zookeeper.namespace} |
参考文件 | hive-site.xml |
参考属性 | hive.zookeeper.quorum,hive.server2.zookeeper.namespace |
样例 | jdbc:hive2://datawings01:2181,datawings02:2181,datawings03:2181/;serviceDiscoveryMode=zooKeeper;zooKeeperNamespace=hiveserver2 |
3)获取Hive Metastore信息
信息 | 描述 |
---|---|
参考文件 | hive-site.xml |
参考属性 | hive.metastore.uris |
样例 | thrift://datawings01:9083,thrift://datawings01:9083 |
4)获取Hive.warehouse信息
信息 | 描述 |
---|---|
参考格式 | 需结合两个参考文件的属性: {fs.defaultFS}{hive.metastore.warehouse.dir} |
参考文件1 | core-site.xml |
参考属性1 | fs.defaultFS |
参考文件2 | hive-site.xml |
参考属性2 | hive.metastore.warehouse.dir |
样例 | hdfs://ctyunns/warehouse/tablespace/managed/hive |
5)获取Kerberos账号信息
Kerberos账号直接填写hive@BIGDATA.CHINATELECOM.CN,keytab使用上节下载的hiev.keytab即可。
获取翼MR集群网络配置信息
进入Manager管理平台,点击进入主机页面,即可看到所有的主机信息。
手动创建集群时,您需要复制所有主机的主机IP-主机名称对,配置在集群注册表单中,以确保资源组能成功访问大数据集群,例如: