安装日志 安装信息一览表 安装日志 日志描述 安装配置日志 记录了安装前配置过程的信息。 安装Manager日志 记录了安装双机Manager操作的信息。 安装集群日志 记录了安装集群步骤的信息。 运行日志 运行日志记录的运行信息描述如下表所示。 运行信息一览表 运行日志 日志描述 服务安装前的准备日志 记录服务安装前的准备工作，如检测、配置和反馈操作的信息。 进程启动日志 记录进程启动过程中执行的命令信息。 进程启动异常日志 记录进程启动失败时产生异常的信息，如依赖服务错误、资源不足等。 进程运行日志 记录进程运行轨迹信息及调试信息，如函数入口和出口打印、模块间接口消息等。 进程运行异常日志 记录导致进程运行时错误的错误信息，如输入对象为空、编解码失败等错误。 进程运行环境信息日志 记录进程运行环境的信息，如资源状态、环境变量等。 脚本日志 记录脚本执行的过程信息。 资源回收日志 记录资源回收的过程信息。 服务卸载时的清理日志 记录卸载服务时执行的步骤操作信息，如清除目录数据、执行时间等。 审计日志 审计日志记录的审计信息包含Manager审计信息和组件审计信息。 Manager审计信息一览表 操作类型 操作 用户管理 创建用户 修改用户 删除用户 创建组 修改组 删除组 添加角色 修改角色 删除角色 密码策略修改 修改密码 密码重置 用户登录 用户注销 屏幕解锁 下载认证凭据 用户越权操作 用户帐号解锁 用户帐号锁定 屏幕锁定 导出用户 导出用户组 导出角色 集群 启动集群 停止集群 重启集群 滚动重启集群 重启所有过期实例 保存配置 同步集群配置 定制集群监控指标 配置监控转储 保存监控阈值 下载客户端配置 北向Syslog接口配置 北向SNMP接口配置 SNMP清除告警 SNMP添加trap目标 SNMP删除trap目标 SNMP检查告警 SNMP同步告警 创建阈值模板 删除阈值模板 应用阈值模板 保存集群监控配置数据 导出配置数据 导入集群配置数据 导出安装模板 修改阈值模板 取消阈值模板应用 屏蔽告警 发送告警 修改OMS数据库密码 重置组件数据库密码 重启OMM和Controller 启动集群的健康检查 导入证书文件 配置SSO信息 删除健康检查历史报告 修改集群属性 同步维护命令 异步维护命令 定制报表监控指标 导出报表监控数据 SNMP执行异步命令 重启WEB服务 定制静态资源池监控指标 导出静态资源池监控数据 定制主页监控指标 中止任务 还原配置 修改域和互信的配置 修改系统参数 集群进入维护模式 集群退出维护模式 OMS进入维护模式 OMS退出维护模式 批量退出维护模式 修改OMS配置 启用阈值告警 同步所有集群配置 服务 启动服务 停止服务 同步服务配置 刷新服务队列 定制服务监控指标 重启服务 滚动重启服务 导出服务监控数据 导入服务配置数据 启动服务的健康检查 服务配置 上传配置文件 下载配置文件 同步实例配置 实例入服 实例退服 启动实例 停止实例 定制实例监控指标 重启实例 滚动重启实例 导出实例监控数据 导入实例配置数据 创建实例组 修改实例组 删除实例组 移动到另一个实例组 服务进入维护模式 服务退出维护模式 修改服务显示名称 修改服务关联关系 下载监控数据 屏蔽告警 取消屏蔽告警 导出服务的报表数据 添加报表的自定义参数 修改报表的自定义参数 删除报表的自定义参数 倒换控制节点 新增挂载表 修改挂载表 主机 设置节点机架 启动所有角色 停止所有角色 隔离主机 取消隔离主机 定制主机监控指标 导出主机监控数据 主机进入维护模式 主机退出维护模式 导出主机基本信息 导出主机分布的报表数据 导出主机趋势的报表数据 导出主机集群的报表数据 导出服务的报表数据 定制主机集群监控指标 定制主机趋势监控指标 告警 导出告警 清除告警 导出事件 批量清除告警 采集日志 采集日志文件 下载日志文件 采集服务堆栈信息 采集实例堆栈信息 准备服务堆栈信息 准备实例堆栈信息 清理服务堆栈信息 清理实例堆栈信息 审计日志 修改审计转储配置 导出审计日志 备份恢复 创建备份任务 执行备份任务 批量执行备份任务 停止备份任务 删除备份任务 修改备份任务 锁定备份任务 解锁备份任务 创建恢复任务 执行恢复任务 停止恢复任务 重试恢复任务 删除恢复任务 多租户 保存静态配置 添加租户 删除租户 关联租户服务 删除租户服务 配置资源 创建资源 删除资源 增加资源池 修改资源池 删除资源池 恢复租户数据 修改租户全局配置 修改容量调度器队列配置 修改超级调度器队列配置 修改容量调度器资源分布 清除容量调度器资源分布 修改超级调度器资源分布 清除超级调度器资源分布 添加资源目录 修改资源目录 删除资源目录 定制租户监控指标 健康检查 启动集群的健康检查 启动服务的健康检查 启动主机的健康检查 启动oms健康检查 启动系统的健康检查 更新健康检查的配置 导出健康检查报告 导出集群健康检查的结果 导出服务健康检查的结果 导出主机健康检查的结果 删除健康检查历史报告 导出健康检查历史报告 下载健康检查报告 组件审计信息一览表 审计日志 操作类型 操作 ClickHouse审计日志 维护管理 授权 收回权限 认证和登录信息 ClickHouse审计日志 业务操作 创建数据库/表 插入、删除、查询、执行数据迁移任务 DBService审计日志 维护管理 备份恢复操作 HBase审计日志 DDL（数据定义）语句 创建表 删除表 修改表 增加列族 修改列族 删除列族 启用表 禁用表 用户信息修改 修改密码 用户登录 HBase审计日志 DML（数据操作）语句 put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并put数据（针对hbase:meta表、ctmeta表和hbase:acl表） 检查并删除数据（针对hbase:meta表、ctmeta表和hbase:acl表） HBase审计日志 权限控制 给用户授权 取消用户授权 HDFS审计日志 权限管理 文件/文件夹访问权限 文件/文件夹owner信息 HDFS审计日志 文件操作 创建文件夹 创建文件 打开文件 追加文件内容 修改文件名称 删除文件/文件夹 设置文件时间属性 设置文件副本个数 多文件合并 文件系统检查 文件链接 Hive审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Hive审计日志 数据维护 向表中加载数据 向表中插入数据 Hive审计日志 权限管理 创建/删除角色 授予/回收角色 授予/回收权限 Hue审计日志 服务启动 启动Hue Hue审计日志 用户操作 用户登录 用户退出 Hue审计日志 任务操作 创建任务 修改任务 删除任务 提交任务 保存任务 任务状态更新 KrbServer审计日志 维护管理 修改kerberos帐号密码 添加kerberos帐号 删除kerberos帐号 用户认证 LdapServer审计日志 维护管理 添加操作系统用户 添加组 添加用户到组 删除用户 删除组 Loader审计日志 安全管理 用户登录 Loader审计日志 元数据管理 查询connector 查询framework 查询step Loader审计日志 数据源连接管理 查询数据源连接 增加数据源连接 更新数据源连接 删除数据源连接 激活数据源连接 禁用数据源连接 Loader审计日志 作业管理 查询作业 创建作业 更新作业 删除作业 激活作业 禁用作业 查询作业所有执行记录 查询作业最近执行记录 提交作业 停止作业 Mapreduce审计日志 程序运行 启动Container请求 停止Container请求 Container结束，状态为成功 Container结束，状态为失败 Container结束，状态为中止 提交任务 结束任务 Oozie审计日志 任务管理 提交任务 启动任务 kill任务 暂停任务 恢复任务 重新运行任务 Spark2x审计日志 元数据操作 元数据定义，如创建数据库、表等 元数据删除，如删除数据库、表等 元数据修改，如增加列、重命名表等 元数据导入/导出 Spark2x审计日志 数据维护 向表中加载数据 向表中插入数据 Storm审计日志 Nimbus 提交拓扑 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Storm审计日志 UI 中止拓扑 重分配拓扑 去激活拓扑 激活拓扑 Yarn审计日志 任务提交 提交作业到队列相关的操作 Zookeeper审计日志 权限管理 设置ZNODE访问权限 Zookeeper审计日志 ZNODE操作 创建ZNODE 删除ZNODE 设置ZNODE数据 FusionInsight Manager的审计日志保存在数据库中，可通过“审计”页面查看及导出审计日志。 组件审计日志的文件信息见下表。部分组件审计日志文件保存在“/var/log/Bigdata/audit”，例如HDFS、HBase、Mapreduce、Hive、Hue、Yarn、Storm和ZooKeeper。每天凌晨3点自动将组件审计日志压缩备份到“/var/log/Bigdata/audit/bk”，最多保留最近的90个压缩备份文件，不支持修改备份时间。配置保留个数，请参见配置审计日志本地备份数。 其他组件审计日志文件保存在组件日志目录中。 组件审计日志目录 组件名称 审计日志目录 DBService /var/log/Bigdata/audit/dbservice/dbserviceaudit.log HBase /var/log/Bigdata/audit/hbase/hm/hbaseaudithmaster.log /var/log/Bigdata/audit/hbase/hm/hbaserangeraudithmaster.log /var/log/Bigdata/audit/hbase/rs/hbaseauditregionserver.log /var/log/Bigdata/audit/hbase/rs/hbaserangerauditregionserver.log /var/log/Bigdata/audit/hbase/rt/hbaseauditrestserver.log /var/log/Bigdata/audit/hbase/ts/hbaseauditthriftserver.log HDFS /var/log/Bigdata/audit/hdfs/nn/hdfsauditnamenode.log /var/log/Bigdata/audit/hdfs/nn/rangerpluginaudit.log /var/log/Bigdata/audit/hdfs/dn/hdfsauditdatanode.log /var/log/Bigdata/audit/hdfs/jn/hdfsauditjournalnode.log /var/log/Bigdata/audit/hdfs/zkfc/hdfsauditzkfc.log /var/log/Bigdata/audit/hdfs/httpfs/hdfsaudithttpfs.log /var/log/Bigdata/audit/hdfs/router/hdfsauditrouter.log Hive /var/log/Bigdata/audit/hive/hiveserver/hiveaudit.log /var/log/Bigdata/audit/hive/hiveserver/hiverangeraudit.log /var/log/Bigdata/audit/hive/metastore/metastoreaudit.log /var/log/Bigdata/audit/hive/webhcat/webhcataudit.log Hue /var/log/Bigdata/audit/hue/hueaudits.log Kafka /var/log/Bigdata/audit/kafka/audit.log Loader /var/log/Bigdata/loader/audit/default.audit Mapreduce /var/log/Bigdata/audit/mapreduce/jobhistory/mapredauditjobhistory.log Oozie /var/log/Bigdata/audit/oozie/oozieaudit.log Spark2x /var/log/Bigdata/audit/spark2x/jdbcserver/jdbcserveraudit.log /var/log/Bigdata/audit/spark2x/jdbcserver/rangeraudit.log /var/log/Bigdata/audit/spark2x/jobhistory/jobhistoryaudit.log Storm /var/log/Bigdata/audit/storm/logviewer/audit.log /var/log/Bigdata/audit/storm/nimbus/audit.log /var/log/Bigdata/audit/storm/supervisor/audit.log /var/log/Bigdata/audit/storm/ui/audit.log Yarn /var/log/Bigdata/audit/yarn/rm/yarnauditresourcemanager.log /var/log/Bigdata/audit/yarn/rm/rangerpluginaudit.log /var/log/Bigdata/audit/yarn/nm/yarnauditnodemanager.log ZooKeeper /var/log/Bigdata/audit/zookeeper/quorumpeer/zkauditquorumpeer.log

本章节主要介绍切换维护模式。 操作场景 FusionInsight Manager支持将集群、服务、主机或者OMS配置为维护模式，进入维护模式的对象将不再上报告警，避免在升级等维护变更期间系统产生大量无意义的告警，影响运维人员对集群状态的判断。 集群维护模式 集群未正式上线或暂时离线进行运维操作时（例如非滚动方式的升级），可将整个集群配置为维护模式。 服务维护模式 对特定服务进行维护操作时（例如对该服务的实例进行批量重启等可能影响业务的调试操作、对该服务相关的节点进行直接上下电或修复服务等），可仅将涉及的服务配置为维护模式。 主机维护模式 对主机进行维护操作时（例如节点上下电、隔离主机、重装主机、升级操作系统、替换节点等），可仅将涉及的主机配置为维护模式。 OMS维护模式 对OMS节点进行重启、替换、修复等操作时，可将OMS配置为维护模式。 对系统影响 设置维护模式后，非维护操作引起的告警也将被抑制无法上报，直至退出维护模式后，仍然存在的故障才能上报告警，请谨慎操作。 操作步骤 1.登录FusionInsight Manager。 2.配置维护模式。 根据实际操作场景，确认需要配置维护模式的对象，参考下表进行操作。 切换维护模式 场景 步骤 配置集群进入维护模式 1. 在管理界面主页，选择待操作集群名称后的“>进入维护模式”。 2. 在弹出的窗口中单击“确定”。 集群进入维护状态后，集群名称后的状态显示为。维护操作完成后，单击“退出维护模式”，集群将退出维护模式。 配置服务进入维护模式 1. 在管理界面选择“集群>待操作的集群名称 >服务>服务名称”。 2. 在服务详情页面选择“更多>进入维护模式”。 3. 在弹出的窗口中单击“确定”。 服务进入维护状态后，服务列表的对应服务名称后的状态显示为。维护操作完成后，单击“退出维护模式”，服务将退出维护模式。 说明 配置某服务进入维护模式时，建议将依赖该服务的其他上层服务也都设置为维护模式。 配置主机进入维护模式 1. 在管理界面单击“主机”。 2. 在主机页面勾选待操作的主机，选择“更多>进入维护模式”。 3. 在弹出的窗口中单击“确定”。 主机进入维护状态后，主机列表的对应主机名称后的状态显示为。维护操作完成后，单击“退出维护模式”，主机将退出维护模式。 配置OMS进入维护模式 1. 在管理界面选择“系统> OMS >进入维护模式”。 2. 在弹出的窗口中单击“确定”。 OMS进入维护状态后，OMS状态显示为。维护操作完成后，单击“退出维护模式”，OMS将退出维护模式。 3.查看集群维护视图。 在管理界面主页，选择待操作集群名称后的“ > 维护模式视图”，在弹出的窗口中可查看当前集群内处于维护模式的服务及主机，方便查询。 维护操作完成后，可在维护模式视图中批量勾选服务与主机，然后单击“退出维护模式”，即可批量退出维护模式。 图 批量退出维护模式

通过ECS访问FusionInsight Manage 1. 在MRS管理控制台，单击“集群列表”。 2. 在“现有集群”列表中，单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群管理页面”、“安全组”。 3. 在管理控制台首页服务列表中选择“弹性云主机”，进入ECS管理控制台，创建一个新的弹性云主机。 弹性云主机的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如，选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息，请参见“弹性云主机 > 用户指南 > 快速入门 > 创建并登录Windows弹性云主机”。 说明 如果ECS的安全组和Master节点的“默认安全组”不同，用户可以选择以下任一种方法修改配置： 将ECS的安全组修改为Master节点的默认安全组，请参见“ 用户指南 > 安全组 > 更改安全组”。 在集群Master节点和Core节点的安全组添加两条安全组规则使ECS可以访问集群，“协议”需选择为“TCP”，“端口”需分别选择“28443”和“20009”。请参见“虚拟私有云 > 用户指南 > 安全性 > 安全组 > 添加安全组规则”。 4. 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。 具体请参见“虚拟私有云>用户指南 > 弹性公网IP > 为弹性云主机申请和绑定弹性公网IP”。 5. 登录弹性云主机。 登录ECS需要Windows系统的帐号、密码，弹性IP地址以及配置安全组规则。具体请参见“弹性云主机 > 用户指南 > 实例 > 登录弹性云主机 > 登录Windows弹性云主机”。 6. 在Windows的远程桌面中，打开浏览器访问Manager。 例如Windows 2012操作系统可以使用Internet Explorer 11。 Manager访问地址为“集群管理页面”地址。访问时需要输入集群的用户名和密码，例如“admin”用户。 如果使用其他集群用户访问Manager，第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。请咨询管理员。 默认情况下，在登录时输入5次错误密码将锁定用户，需等待5分钟自动解锁。 7. 注销用户退出Manager时移动鼠标到右上角 ，然后单击“注销”。

本章节主要介绍 Hive对接OBS文件系统 。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 建表时指定Location为OBS路径 1.使用安装客户端用户登录客户端安装节点。 2.执行如下命令初始化环境变量。 source ${clienthome}/bigdataenv 3.如果是安全集群，执行以下命令进行用户认证（该用户需要具有Hive操作的权限），如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit Hive组件操作用户 4.登录FusionInsight Manager，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 在左侧的导航列表中选择“Hive>自定义”。在自定义配置项中，给参数“hdfs.site.customized.configs”添加配置项“dfs.namenode.acls.enabled”，设置值为“false”。 5.单击“保存”，保存配置。单击“概览”，选择“更多 > 重启服务”，输入当前用户密码，单击“确定”，并勾选“同时重启上层服务。”，单击“确定”，重启Hive服务。 6.进入beeline客户端，在创建表时指定Location为OBS文件系统路径。 beeline 例如，创建一个表“test”，该表的Location为“obs://OBS并行文件系统名称/user/hive/warehouse/数据库名/表名”： create table test(name string) location "obs:// OBS 并行文件系统名称/user/hive/warehouse/ 数据库名/ 表名 "; 说明 需要添加组件操作用户到Ranger策略中的URL策略，URL填写对象在obs上的完整路径。权限选择Read, Write 权限，其他权限不涉及URL策略。

本章节主要介绍使用ClickHouse客户端。 ClickHouse是面向联机分析处理的列式数据库，支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常优异，比其他分析型数据库速度快一个数量级。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”。以下操作的客户端目录只是举例，请根据实际安装目录修改。在使用客户端前，需要先下载并更新客户端配置文件，确认Manager的主管理节点后才能使用客户端。 操作步骤 1.以客户端安装用户，登录安装客户端的节点。 2.执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3.执行以下命令配置环境变量。 source bigdataenv 4.如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建ClickHouse表的权限，具体请参见“组件操作指南 > 使用ClickHouse > 用户管理及认证 > ClickHouse用户及权限管理”章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行本步骤。 a.如果是MRS 3.1.0版本集群，则需要先执行：export CLICKHOUSESECURITYENABLEDtrue b.kinit 组件业务用户 例如，kinit clickhouseuser。 5.执行ClickHouse组件的客户端命令。 执行 clickhouse h ，查看ClickHouse组件命令帮助。 回显信息如下： Use one of the following commands: clickhouse local [args] clickhouse client [args] clickhouse benchmark [args] clickhouse server [args] clickhouse performancetest [args] clickhouse extractfromconfig [args] clickhouse compressor [args] clickhouse format [args] clickhouse copier [args] clickhouse obfuscator [args] ... 详细命令使用请参考： MRS 3.1.0及之后版本，使用clickhouse client命令连接ClickHouse服务端： 例如，当前集群未启用Kerberos认证，使用ssl安全方式登录： clickhouse client host ClickHouse 的实例IP user 用户名 password 密码 port 9440 secure 例如，当前集群已启用Kerberos认证，使用ssl安全方式登录。 Kerberos集群场景下没有默认用户，必须在Manager上创建用户，详细参考“组件操作指南 > 使用ClickHouse >用户管理及认证 >ClickHouse用户及权限管理”。 使用kinit认证成功后，客户端登录时可以不携带user和password参数，即使用kinit认证的用户登录。 clickhouse client host ClickHouse的实例IPport 9440 secure 详见下表：clickhouse client命令行参数说明 参数名 参数说明 host 服务端的host名称，默认是localhost。您可以选择使用ClickHouse实例所在节点主机名或者IP地址。 说明 ClickHouse的实例IP地址可登录集群FusionInsight Manager，然后选择“集群> 服务> ClickHouse >实例”，获取ClickHouseServer实例对应的业务IP地址。 port 连接的端口。 如果使用ssl安全连接则默认端口为9440，并且需要携带参数secure。具体的端口值可通过ClickHouseServer实例配置搜索“tcpportsecure”参数获取。 如果使用非ssl安全连接则默认端口为9000，不需要携带参数secure。具体的端口值可通过ClickHouseServer实例配置搜索“tcpport”参数获取。 user 用户名。 可以在Manager上创建该用户名并绑定对应的角色权限，具体可以参考“组件操作指南>使用ClickHouse >用户管理及认证> ClickHouse用户及权限管理”。 如果当前集群已启用Kerberos认证，使用kinit认证成功后，客户端登录时可以不携带user和password参数，即使用kinit认证的用户登录。Kerberos集群场景下没有默认用户，必须在Manager上创建该用户名。 如果当前集群未启用Kerberos认证，客户端登录时可以指定Manager上创建的用户和密码。不携带用户和密码参数时则默认使用default用户登录。 password 密码。 默认值：空字符串。该参数和user参数配套使用，可以在Manager上创建用户名时设置该密码。 query 使用非交互模式查询。 database 默认当前操作的数据库。默认值：服务端默认的配置（默认是default）。 multiline 如果指定，允许多行语句查询（Enter仅代表换行，不代表查询语句完结）。 multiquery 如果指定，允许处理用;号分隔的多个查询，只在非交互模式下生效。 format 使用指定的默认格式输出结果。 vertical 如果指定，默认情况下使用垂直格式输出结果。在这种格式中，每个值都在单独的行上打印，适用显示宽表的场景。 time 如果指定，非交互模式下会打印查询执行的时间到stderr中。 stacktrace 如果指定，如果出现异常，会打印堆栈跟踪信息。 configfile 配置文件的名称。 secure 如果指定，将通过ssl安全模式连接到服务器。 historyfile 存放命令历史的文件的路径。 param 带有参数的查询，并将值从客户端传递给服务器。具体用法详见

本章节主要介绍如何配置资源池的队列容量策略。 操作场景 添加资源池后，需要为YARN任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。每个队列只能配置一个资源池的队列容量策略。用户可以在任何一个资源池中查看队列并配置队列容量策略。配置队列策略后，YARN任务队列与资源池形成关联关系。 该任务指导用户通过MRS配置队列策略。 前提条件 已添加资源池。 任务队列与其他资源池无关联关系。默认情况下，所有队列与“default”资源池存在关联关系。 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“租户管理”。 说明 MRS 3.x及之后版本请参考 2.单击“资源分布策略”页签。 3.在“资源池”选择指定的资源池。 “可用资源配额”：表示每个资源池默认所有资源都可分配给队列。 4.在“资源分配”列表指定队列的“操作”列，单击“修改”。 5.在“修改资源分配”窗口设置任务队列在此资源池中的资源容量策略。 “资源容量 (%)”：表示当前租户计算资源使用的资源百分比。 “最大资源容量 (%)”：表示当前租户计算资源使用的最大资源百分比。 6.单击“确定”保存配置。

编号 姓名 性别 年龄 地址 12005000201 A 男 19 A城市 12005000202 B 女 23 B城市 12005000203 C 男 26 C城市 12005000204 D 男 18 D城市 12005000205 E 女 21 E城市 12005000206 F 男 32 F城市 12005000207 G 女 29 G城市 12005000208 H 女 30 H城市 12005000209 I 男 26 I城市 12005000210 J 女 25 J城市

本章节主要介绍使用Kafka客户端 。 操作场景 用户可以在集群客户端完成Topic的创建、查询、删除等基本操作。 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Kafka客户端（MRS 3.x之前版本） 1. 进入ZooKeeper实例页面： 单击集群名称，登录集群详情页面，选择“组件管理 > ZooKeeper > 实例”。 说明 若集群详情页面没有“组件管理”页签，请先完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 2. 查看ZooKeeper角色实例的IP地址。 记录ZooKeeper角色实例其中任意一个的IP地址即可。 3. 登录安装客户端的节点。 4. 执行以下命令，切换到客户端目录，例如“/opt/hadoopclient/Kafka/kafka/bin”。 cd /opt/hadoopclient/Kafka/kafka/bin 5. 执行以下命令，配置环境变量。 source /opt/hadoopclient/bigdataenv 6. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit Kafka用户 7. 创建一个Topic： sh kafkatopics.sh create topic 主题名称 partitions主题占用的分区数 replicationfactor主题的备份个数 zookeeper ZooKeeper角色实例所在节点IP 地址 : clientPort /kafka 例如：sh kafkatopics.sh create topic TopicTestpartitions 3replicationfactor 3 zookeeper 10.10.10.100:2181/kafka 8. 执行以下命令，查询集群中的Topic信息： sh kafkatopics.sh list zookeeper ZooKeeper角色实例所在节点IP 地址:clientPort /kafka 例如：sh kafkatopics.sh list zookeeper 10.10.10.100:2181/kafka 9. 删除7中创建的Topic： sh kafkatopics.sh delete topic主题名称 zookeeper ZooKeeper角色实例所在节点IP 地址 : clientPort /kafka 例如：sh kafkatopics.sh delete topic TopicTest zookeeper 10.10.10.100:2181/kafka 输入"y"，回车。

本章节主要介绍HDFS客户端对接OBS文件系统。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 1. 以客户端安装用户登录安装了HDFS客户端的节点。 2. 执行以下命令，切换到客户端安装目录。 cd ${clienthome} 3. 执行以下命令配置环境变量。 source bigdataenv 4. 如果集群为安全模式，执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 5. 在hdfs命令行显式添加要访问的OBS文件系统。 例如： 使用以下命令访问OBS文件系统。 hdfs dfs ls obs:// OBS 并行文件系统名称 /路径 使用以下命令上传客户端节点“/opt/test.txt”文件到OBS文件系统路径下。 hdfs dfs put /opt/test.txt obs:// OBS 并行文件系统名称/ 路径 说明 OBS文件系统打印大量日志可能导致读写性能受影响，可通过调整OBS客户端日志级别优化，日志调整方式如下： cd ${clienthome}/HDFS/hadoop/etc/hadoop vi log4j.properties 在文件中添加OBS日志级别配置 log4j.logger.org.apache.hadoop.fs.obsWARN log4j.logger.com.obsWARN

相关参考 如需对访问OBS的权限进行控制，请参考配置MRS多用户访问OBS细粒度权限。

本章节主要介绍如何进行滚动补丁操作。 滚动补丁是指在补丁安装/卸载时，采用滚动重启服务（按批次重启服务或实例）的方式，在不中断或尽可能短地中断集群各个服务业务的前提下完成对集群中单个或多个服务的补丁安装/卸载操作。集群中的服务根据对滚动补丁的支持程度，分为三种： 支持滚动安装/卸载补丁的服务：在安装/卸载补丁过程中，服务的全部业务或部分业务（因服务而异，不同服务存在差别）不中断。 不支持滚动安装/卸载补丁的服务：在安装/卸载补丁过程中，服务的业务会中断。 部分角色支持滚动安装/卸载补丁的服务：在安装/卸载补丁过程中，服务的部分业务不中断。 说明 MRS3.x版本暂不支持在管理控制台执行本章节操作。 当前MRS集群中，服务和实例是否支持滚动重启如下表所示。 服务 实例 是否支持滚动重启 HDFS NameNode 是 HDFS Zkfc 是 HDFS JournalNode 是 HDFS HttpFS 是 HDFS DataNode 是 Yarn ResourceManager 是 Yarn NodeManager 是 Hive MetaStore 是 Hive WebHCat 是 Hive HiveServer 是 Mapreduce JobHistoryServer 是 HBase HMaster 是 HBase RegionServer 是 HBase ThriftServer 是 HBase RESTServer 是 Spark JobHistory 是 Spark JDBCServer 是 Spark SparkResource 否 Hue Hue 否 Tez TezUI 否 Loader Sqoop 否 Zookeeper Quorumpeer 是 Kafka Broker 是 Kafka MirrorMaker 否 Flume Flume 是 Flume MonitorServer 是 Storm Nimbus 是 Storm UI 是 Storm Supervisor 是 Storm Logviewer 是

常见事件列表 常见事件列表 事件ID 事件名称 12019 停止服务 12020 删除服务 12021 停止实例 12022 删除实例 12023 删除节点 12024 重启服务 12025 重启实例 12026 Manager主备倒换 12065 进程重新启动 12070 作业执行成功 12071 作业执行失败 12072 作业被终止 12086 Agent进程重启 14005 NameNode主备倒换 14028 HDFS磁盘均衡任务 14029 主NameNode进入安全模式并生产新的Fsimage 17001 Oozie工作流执行失败 17002 Oozie定时任务执行失败 18001 ResourceManager主备倒换 18004 JobHistoryServer主备倒换 19001 HMaster主备倒换 20003 Hue发生主备切换 24002 Flume Channel溢出 25001 LdapServer主备倒换 27000 DBServer主备倒换 38003 Topic数据保存周期配置调整 43014 Spark2x数据倾斜 43015 Spark2x SQL超大查询结果 43016 Spark2x SQL执行超时 43024 启动JDBCServer 43025 停止JDBCServer 43026 ZooKeeper连接成功 43027 ZooKeeper连接异常

本章节主要介绍使用HBase客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用HBase客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。 “机机”用户需要下载keytab文件，“人机”用户第一次登录时需修改密码。 非root用户使用HBase客户端，请确保该HBase客户端目录的属主为该用户，否则请参考如下命令修改属主。 chown user:group R 客户端安装目录 /HBase 使用Hbase客户端（MRS 3.x之前版本） 1. 以客户端安装用户，登录安装客户端的节点。 2. 执行以下命令切换到客户端目录。 cd /opt/hadoopclient 3. 执行以下命令配置环境变量。 source bigdataenv 4. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户，当前用户需要具有创建HBase表的权限，具体请参见“用户指南 > 管理现有集群 > MRS多用户权限管理 > 创建角色”配置拥有对应权限的角色，参考“用户指南 > 管理现有集群 > MRS多用户权限管理 > 创建用户”章节，为用户绑定对应角色。如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 组件业务用户 例如，kinit hbaseuser。 5. 直接执行HBase组件的客户端命令。 hbase shell

方式三（适用于MRS 3.x及之后版本集群） 1.登录MRS控制台。 2.选择“集群列表 > 现有集群”，单击集群名称进入集群详情页面。 3.在“概览”页签的基本信息区域，单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 4.用户同步完成后即可在页面右侧查看到集群的监控指标报表。 5.在时间区间选择需要查看监控数据的时间段。可供选择的选项如下： 近1小时 近3小时 近12小时 近24小时 近7天 近1个月 自定义：在时间范围内自行选择需要查看的时间。 6.自定义监控指标报表。 a.单击“定制”，勾选需要显示的监控指标。 界面最多显示12个定制的监控指标。 b.单击“确定”保存并显示所选指标。 说明 单击“清除”可批量取消全部选中的指标项。

本章节主要介绍如何配置角色实例参数。 操作场景 用户可以根据实际业务场景，在MRS中快速查看及修改角色实例默认的配置。支持导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 修改角色实例参数 1.在集群详情页，单击“组件管理”。 2.单击服务列表中指定的服务名称。 3.单击“实例”页签。 4.单击角色实例列表中指定的角色实例名称。 5.单击“实例配置”页签。 6.将页面右侧“基础配置”切换为“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7.在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 8.单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”，重启角色实例。

任务示例 配置Hive自定义参数 Hive依赖于HDFS，默认情况下Hive访问HDFS时是HDFS的客户端，生效的配置参数统一由HDFS控制。例如HDFS参数“ipc.client.rpc.timeout”影响所有客户端连接HDFS服务端的RPC超时时间，如果用户需要单独修改Hive连接HDFS的超时时间，可以使用自定义配置项功能进行设置。在Hive的“coresite.xml”文件增加此参数可被Hive服务识别并代替HDFS的设置。 1.在集群详情页，单击“组件管理”。 2.选择 “Hive > 服务配置”。 3.将页面右侧“基础配置”切换为“全部配置”。 4.在左侧导航栏选择Hive服务级别“自定义”，MRS将显示Hive支持的服务级别自定义参数。 5.在“coresite.xml”对应参数“core.site.customized.configs”的“参数”输入“ipc.client.rpc.timeout”，“值”输入新的参数值，例如“150000”。单位为毫秒。 6.单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。 界面提示“操作成功。”，单击“完成”，服务成功启动。

本章节主要介绍如何进行同步角色实例配置。 操作场景 当用户发现角色实例的“配置状态”为“配置超期”或“配置失败”时，可以在MRS尝试使用同步配置功能，同步角色实例的配置数据与后台配置数据，以恢复配置状态。 对系统的影响 同步配置角色实例后需要重启配置过期的角色实例。重启时对应的角色实例不可用。 前提条件 已完成IAM用户同步（在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步）。 操作步骤 1.在集群详情页，单击“组件管理”。 2.选择服务名称。 3.单击“实例”页签。 4.在角色实例列表中，单击指定角色实例名称。 5.在角色实例状态及指标信息上方，选择“更多 > 同步配置”。 6.在弹出窗口勾选“重启配置过期的服务”，并单击“是”重启角色实例。

本章节主要介绍如何扩容集群。 MRS的扩容不论在存储还是计算能力上，都可以简单地通过增加Core节点或者Task节点来完成，不需要修改系统架构，降低运维成本。集群Core节点不仅可以处理数据，也可以存储数据。可以在集群中添加Core节点，通过增加节点数量处理峰值负载。集群Task节点主要用于处理数据，不存放持久数据。 背景信息 MRS集群支持Core与Task节点总数最大为500个。如果用户需要的Core/Task节点数大于500，可以联系支持人员或者调用后台接口修改数据库。 目前支持扩容Core节点和Task节点，不支持扩容Master节点。此处扩容的最大Core/Task节点数为（500 集群Core/Task节点数）。例如：当前集群Core节点数为3，此处扩容的Core节点数必须小于等于497。如果集群扩容失败，用户可重新进行扩容操作。 如果在创建集群时，没有扩容节点，用户可以在扩容时添加节点个数，但不能指定具体节点扩容。 选择的版本不同，扩容集群的操作也不同。 操作步骤 1.登录MRS管理控制台。 2.选择 “集群列表 > 现有集群” ，选中一个运行中的集群并单击集群名称，进入集群信息页面。 3.选择“节点管理”页签，在需要扩容的节点组的“操作”列单击“扩容”，进入扩容集群页面。 只有运行中的集群才能进行扩容操作。 4.设置“扩容节点数量”、“启动组件”和“执行引导操作”参数，并单击“确定”。 说明 若集群中没有Task节点组，请参考添加Task节点配置Task节点。 如果创建集群时添加了引导操作，则“执行引导操作”参数有效，开启该功能时扩容的节点会把创建集群时添加的引导操作脚本都执行一遍。 如果“新节点规格”参数有效，则表示与原有节点相同的规格已售罄或已下架，新扩容的节点将按照“新节点规格”增加。 扩容集群前需要检查集群安全组是否配置正确，要确保集群入方向安全组规则中有一条全部协议，全部端口，源地址为可信任的IP访问范围的规则。 5.进入“扩容节点”窗口，单击“确定”。 6.弹出扩容节点提交成功提示框。 集群扩容过程说明如下： 扩容中：集群正在扩容时集群状态为“扩容中”。已提交的作业会继续执行，也可以提交新的作业，但不允许继续扩容和删除集群，也不建议重启集群和修改集群配置。 扩容成功：集群扩容成功后集群状态为“运行中”。 扩容失败：集群扩容失败时集群状态为“运行中”。用户可以执行作业，也可以重新进行扩容操作。 扩容成功后，可以在集群详情的“节点管理”页签查看集群的节点信息。

参数名 参数解释 参数值 规则名称 规则名称 CPUMAX（举例） 告警级别 告警级别 l 紧急 l 重要 l 次要 l 提示 l 紧急 l 重要 l 次要 l 提示 阈值类型 选择某指标的最大值或最小值，类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警，类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 l 最大值 l 最小值 日期 设置规则生效的日期，即哪一天运行规则。 l 每天 l 每周 l 其他 添加日期 仅在“日期”模式为“其他”时可见，设置规则运行的自定义日期，支持多选。 0930 阈值设置 设置规则运行的具体时间范围。 起止时间：00:008:30 阈值设置 设置规则监控指标的阈值 阈值：10

本章节主要介绍通过Windows弹性云主机访问。 MRS支持通过Windows弹性云主机访问开源组件Web站点。该方式操作较为复杂，推荐不支持EIP功能的MRS集群使用。 1. 在MRS管理控制台，单击“集群列表”。 2. 在 “现有集群” 列表中，单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“集群控制台地址”、“安全组”。 说明 集群控制台地址获取方式：远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示集群控制台地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到集群控制台地址，请切换到Master1节点查询并记录。如果只有一个Master节点时，直接在该Master节点查询并记录。 3. 在ECS管理控制台，创建一个新的弹性云主机。 弹性云主机的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Windows系统的公共镜像。例如，选择一个标准镜像“Windows Server 2012 R2 Standard 64bit(40GB)”。 其他配置参数详细信息，请参见“弹性云主机 > 用户指南 > 快速入门 > 创建并登录Windows弹性云主机”。 说明 如果ECS的安全组和MRS集群的“安全组”不同，用户可以选择以下任一种方法修改配置： 将ECS的安全组修改为MRS集群的安全组，请参见“ 用户指南 > 安全组 > 更改安全组”。 在集群Master节点和Core节点的安全组中添加两条安全组规则使ECS可以访问集群，“协议”需选择为“TCP”，“端口”需分别选择“28443”和“20009”。请参见“虚拟私有云 > 用户指南 > 安全性 > 安全组 > 添加安全组规则”。 4. 在VPC管理控制台，申请一个弹性IP地址，并与ECS绑定。 具体请参见“虚拟私有云>用户指南 > 弹性公网IP > 为弹性云主机申请和绑定弹性公网IP”。 5. 登录弹性云主机。 登录ECS需要Windows系统的帐号、密码，弹性IP地址以及配置安全组规则。具体请参见“弹性云主机> 用户指南 > 实例 > 登录弹性云主机 > 登录Windows弹性云主机”。 6. 在Windows的远程桌面中，打开浏览器访问Manager。 例如Windows 2012操作系统可以使用Internet Explorer 11。 Manager访问地址形式为 https:// 集群控制台地址 :28443/web 。访问时需要输入MRS集群的用户名和密码，例如“admin”用户。 说明 集群控制台地址：远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示集群控制台地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到集群控制台地址，请切换到Master1节点查询并记录。如果只有一个Master节点时，直接在该Master节点查询并记录。 如果使用其他MRS集群用户访问Manager，第一次访问时需要修改密码。新密码需要满足集群当前的用户密码复杂度策略。 默认情况下，在登录时输入5次错误密码将锁定用户，需等待5分钟自动解锁。 7. 请参考开源组件Web站点页面提供的站点地址访问开源组件Web站点。

为集群更换弹性公网IP 1.在MRS管理控制台，在“现有集群”列表，单击指定的集群名称，进入集群信息页面。 2.查看“弹性公网IP”。 3.登录“虚拟私有云 VPC”管理控制台。 4.选择“弹性公网IP和带宽 > 弹性公网IP”。 5.查找MRS集群所绑定的弹性公网IP，并在“操作”列单击“解绑”解绑MRS集群绑定的弹性公网IP。 6.登录MRS管理控制台，在“现有集群”列表，单击指定的集群名称，进入集群信息页面。 此时，集群详情页面“弹性公网IP”显示“暂未绑定”。 7.单击“集群管理页面 ”后的“前往 Manager”，在弹出的窗口中“访问方式”选择“EIP访问”。 8.在弹性公网IP下拉框中选择新的弹性公网IP并配置他参数，具体请参考通过弹性公网IP访问Manager。 为其他用户开通访问MRS Manager的权限 1.在MRS管理控制台，在“现有集群”列表，单击指定的集群名称，进入集群信息页面。 2.单击弹性公网IP后边的“添加安全组规则”。 3.进入“添加安全组规则”页面，添加需要开放权限用户访问公网的IP地址段并勾选“我确认这里设置的授权对象是可信任的公网访问IP范围，禁止使用0.0.0.0/0,否则会有安全风险。” 默认填充的是用户访问公网的IP地址，用户可根据需要修改IP地址段，如需开放多个IP段为可信范围，请重复执行14。如需对安全组规则进行查看，修改和删除操作，请单击“管理安全组规则”。 4.单击“确定”完成安全组规则添加。

本章节主要介绍MRS集群节点。 介绍远程登录的概念、MRS集群的节点类型和节点功能。 MRS集群节点支持用户远程登录，远程登录包含界面登录和SSH登录两种方式： 界面登录：直接通过弹性云主机管理控制台提供的远程登录功能，登录到集群Master节点的Linux界面。 SSH登录：仅适用于Linux弹性云主机。您可以使用远程登录工具（例如PuTTY），登录弹性云主机。此时，需要该弹性云主机绑定弹性IP地址。 Master节点申请和绑定弹性IP，请参见“《虚拟私有云》帮助文档”，为弹性云主机申请和绑定弹性公网IP。 可以使用密钥方式也可以使用密码方式登录Linux弹性云主机。 须知 当您使用密钥方式访问集群节点，需要以root用户登录，详细步骤请参见 登录集群节点章节登录弹性云主机（SSH密钥方式）。 当您使用密码方式访问集群节点，详细步骤请参见 登录集群节点章节登录弹性云主机（SSH密码方式）。 MRS集群中每个节点即为一台弹性云主机，节点类型及节点功能如下表所示。 集群节点分类 节点类型 功能 Master节点 MRS集群管理节点，负责管理和监控集群。在MRS管理控制台选择“集群列表>现有集群”，选中一个运行中的集群并单击集群名，进入集群信息页面。在“节点管理”中查看节点名称，名称中包含“master1”的节点为Master1节点，名称中包含“master2”的节点为Master2节点。 Master节点可以通过弹性云主机界面的VNC方式登录，也可以通过SSH方式登录，并且Master节点可以免密码登录到Core节点。 系统自动将Master节点标记为主备管理节点，并支持MRS集群管理的高可用特性。如果主管理节点无法提供服务，则备管理节点会自动切换为主管理节点并继续提供服务。 查看Master1节点是否为主管理节点，请参见如何确认Manager的主备管理节点。 Core节点 MRS集群工作节点，负责处理和分析数据，并存储过程数据。 Task节点 计算节点，用于弹性伸缩，集群计算资源不足时扩容至集群中。

本章节主要介绍如何查看集群基本信息。 集群创建完成后，可对集群进行监控和管理。选择“集群列表 > 现有集群”，选中一集群并单击集群名，进入集群详情页面，查看集群的基本配置信息、部署的节点信息。 说明 ECS集群和BMS集群在管理控制台操作基本一致，本文档主要以ECS集群描述为例，如有操作区别则分开描述。 在集群详情页面选择“概览”，参考下表查看集群详情概览信息参数说明。 集群基本信息 参数 参数说明 集群名称 集群的名称，创建集群时设置。单击可对集群名称进行修改。 当MRS集群为MRS 3.x之前版本时，修改集群名称后仅MRS管理控制台界面显示的集群名称修改，MRS Manager中集群名称不会同步修改。 集群状态 集群状态信息，请参见集群列表简介章节中的表：集群状态说明。 集群管理页面 Manager页面入口。 针对MRS 3.x及以后版本，具体请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 针对MRS 3.x之前版本，需要根据提示绑定弹性公网IP及添加安全组规则后才能进入MRS Manager页面，具体请参见访问MRS Manager（MRS 2.x及之前版本）。 具体操作请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 集群版本 MRS版本信息。 集群类型 支持以下集群类型： 分析集群：用来做离线数据分析，提供的是Hadoop体系的组件。 流式集群：用来做流处理任务，提供的是流式处理组件。 混合集群：既可以用来做离线数据分析，也可以用来做流处理任务，提供的是Hadoop体系的组件和流式处理组件。 自定义：全量自定义组件组合的MRS集群，MRS 3.x及之后版本支持此类型。 集群ID 集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 创建时间 显示集群创建的时间。 可用区 集群工作区域下的可用区，创建集群时设置。 默认生效子网 子网信息，创建集群时所选。 当子网IP不足时，单击“切换子网”切换到当前集群相同VPC下的其他子网，实现可用子网IP的扩充。切换子网不会影响当前已有节点的IP地址和子网。 通过子网提供与其他网络隔离的、可以独享的网络资源，以提高网络安全。 虚拟私有云 VPC信息，创建集群时所选。 VPC即虚拟私有云，是通过逻辑方式进行网络隔离，提供安全、隔离的网络环境。 弹性公网IP 通过将弹性公网IP与MRS集群绑定，实现使用弹性公网IP访问Manager的目的。 OBS权限控制 单击“单击管理”，修改MRS用户与OBS权限的映射关系，具体请参考配置MRS多用户访问OBS细粒度权限。 数据连接 单击“单击管理”，查看集群关联的数据连接类型，具体请参考配置数据连接。 委托 单击“管理委托”，为集群绑定或修改委托。 通过绑定委托，您可以将部分资源共享给ECS或BMS云服务来管理，例如通过配置ECS委托可自动获取AK/SK访问OBS，具体请参见配置存算分离集群（委托方式）。MRSECSDEFAULTAGENCY委托拥有对象存储服务的OBS OperateAccess权限和在集群所在区域拥有CES FullAccess（对开启细粒度策略的用户）、CES Administrator和KMS Administrator权限。 密钥对 密钥对名称，创建集群时设置。 如果创建集群时设置的登录方式为密码，则不显示。 Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。 日志记录 用于收集集群创建失败及扩缩容失败的日志。 安全组 集群的安全组名称。 数据盘密钥名称 用于加密数据盘的密钥名称。如需对已使用的密钥进行管理，请登录密钥管理控制台进行操作。 数据盘密钥ID 用于加密数据盘的密钥ID。 IAM用户同步 可以将IAM侧用户信息同步至MRS集群，用于集群管理。具体请参见统一身份认证用户指南中有关同步MRS说明的章节。 说明 集群详情页的“组件管理”、“租户管理”和“备份恢复”页签需要同步用户后方可使用。MRS 3.x版本集群同步后可使用“组件管理”。 通讯安全授权 展示安全授权状态，通过可关闭和开启安全授权。关闭安全授权属于高危操作，请谨慎处理。详细信息请参考授权安全通信。 组件版本 参数 参数说明 Hadoop版本 显示Hadoop组件的版本信息。 Spark版本 显示Spark组件的版本信息，MRS 3.x之前版本集群支持。 HBase版本 显示HBase组件的版本信息。 Hive版本 显示Hive组件的版本信息。 Hue版本 显示Hue组件的版本信息。 Loader版本 显示Loader组件的版本信息。 Kafka版本 显示Kafka组件的版本信息。 Storm版本 显示Storm组件的版本信息。 Flume版本 显示Flume组件的版本信息。 Tez版本 显示Tez组件的版本信息。 Presto版本 显示Presto组件的版本信息。 KafkaManager版本 显示KafkaManager组件的版本信息。 Flink版本 显示Flink组件的版本信息。 Ranger版本 显示Ranger组件的版本信息。 Spark2x版本 显示Spark2x组件的版本信息。仅MRS 3.x及之后版本集群支持。 Oozie版本 显示Oozie组件的版本信息。仅MRS 3.x及之后版本集群支持。 ClickHouse版本 显示ClickHouse组件的版本信息。仅MRS 3.x及之后版本集群支持。 在集群详情页面选择“节点管理”，参考下表查看集群节点信息参数说明。 节点信息 参数 参数说明 配置Task节点 用于增加Task节点，请参见添加Task节点的相关任务。 对于3.x及之后版本，该操作仅适用于分析集群、流试集群和混合集群。 新增节点组 仅适用于3.x及之后版本，用于增加节点组，请参见添加节点组，仅适用自定义集群。 节点组名称 集群节点组名称。 节点类型 节点类型： Master：集群主节点，负责管理集群，协调将MapReduce可执行文件分配到核心节点。此外，还会跟踪每个作业的执行状态，监控DataNode的运行状况。 Task类型节点组是指仅部署了不存储数据的数据角色的节点组，主要包含：NodeManager、ThriftServer、Thrift1Server、RESTServer、Supervisor、Logviewer、HBaseIndexer、TagSync。 如果节点组内除以上角色外还部署了其他角色，则该节点组为Core类型节点组。 单击节点组名称前方的，显示该节点组包含的节点，单击节点名称，使用创建集群时配置的密码或者密钥对远程登录弹性云主机。节点参数说明请参见管理组件和主机监控。 节点数 对应节点组中包含的节点数量。 操作 扩容：请参见扩容集群。 缩容：请参见缩容集群。 弹性伸缩：请参见配置弹性伸缩规则。 查看角色信息：可查看所在节点组部署的角色信息。仅适用于3.x及之后版本的自定义集群。

配置参数 默认端口 端口说明 hbase.master.port 16000 HMaster RPC端口。该端口用于HBase客户端连接到HMaster。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.master.info.port 16010 HMaster HTTPS端口。该端口用于远程Web客户端连接到HMaster UI。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.port 16020 RS (RegoinServer) RPC端口。该端口用于HBase客户端连接到RegionServer。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.info.port 16030 Region server HTTPS端口。该端口用于远程Web客户端连接到RegionServer UI。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.thrift.info.port 9095 Thrift Server的Thrift Server侦听端口。 该端口用于： 客户端链接时使用该端口侦听。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.regionserver.thrift.port 9090 RegionServer的Thrift Server侦听端口 。 该端口用于： 客户端链接RegionServer时使用该端口侦听。 说明 端口的取值范围为一个建议值，由产品自己指定。在代码中未做端口范围限制。 安装时是否缺省启用：是 安全加固后是否启用：是 hbase.rest.info.port 8085 RegionServer RESTServer原生Web界面的端口。 21309 RegionServer RESTServer的REST端口。

参数 说明 组件名称 Hive 模块类型 Hive元数据 连接类型 RDS服务MySQL数据库 本地数据库 连接实例 当“连接类型”参数选择“RDS服务PostgreSQL数据库”或“RDS服务MySQL数据库”时有效。选择MRS集群与RDS服务数据库连接名称，该连接必须先创建才能在此处引用。可单击“创建数据连接”进行创建，具体请参考

本章节主要介绍MapReduce对接OBS文件系统 。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 1. 登录MRS管理控制台，单击集群名称进入集群详情页面。 2. 选择“组件管理 > Mapreduce”，进入Mapreduce服务“全部配置”页面，在左侧的导航列表中选择“Mapreduce>自定义”。在自定义配置项中，给参数文件“coresite.xml”添加配置项“mapreduce.jobhistory.alwaysscanuserdir”，设置值为“true”。 3. 保存配置，并重启Mapreduce服务。

本章节主要介绍 Flume对接OBS文件系统 。 本章节适用于MRS 3.x及之后的版本。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 1.配置委托。 a.登录MRS控制台，在左侧导航栏选择“集群列表 > 现有集群”。 b.单击集群名称，进入集群详情页面。 c.在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“同步”进行IAM用户同步。 d.单击委托右侧的“管理委托”，选择需要绑定的委托并单击“确定”进行绑定。 2.创建OBS文件系统用于存放数据。 a.登录OBS控制台。 b.单击“并行文件系统”进入并行文件系统页面，单击“创建并行文件系统”。 c.填写文件系统名称，例如“esdkctestpfs1”，其他参数请根据需要填写。单击“立即创建”等待创建完成。 d.在OBS控制台并行文件系统列表中，单击已新建的文件系统名称进入详情页面。 e.在左侧导航栏选择“文件 > 新建文件夹”新建“testFlumeOutput”文件夹。 3.准备properties.properties文件并将上传至“/opt/flumeInput”目录。 a.在本地准备“properties.properties”文件，文件内容如下： source server.sources r1 channels server.channels c1 sink server.sinks obssink define net source server.sources.r1.type seq server.sources.r1.spooldir /opt/flumeInput

本章主要介绍开源组件Web站点 。 场景介绍 MRS集群默认在集群的Master节点或Core节点创建并托管了不同组件的Web站点，用户可以通过这些Web站点查看组件相关信息。 访问开源组件Web站点步骤： 1. 配置访问方式。 MRS提供如下访问开源组件Web站点的方式： 通过弹性公网IP访问：推荐使用该方式，为集群绑定弹性公网IP，简便易操作。 通过Windows弹性云主机访问：需要创建单独的ECS并进行相关配置。 创建连接MRS集群的SSH隧道并配置浏览器：当用户和MRS集群处于不同的网络中时可以使用该方式访问。 2. 访问站点。请参考下表的地址进行访问。 Web站点一览 说明 对于开启Kerberos认证的集群，admin用户不具备各组件的管理权限，如需正常访问各组件的Web UI界面，请提前创建具有对应组件管理权限的用户。 详见下表： 开源组件Web站点地址 集群类型 站点类型 站点地址 全部类型 MRS Manager 适用于所有版本集群 说明 1. 确保本地机器与MRS集群网络互通。 2. 远程登录Master2节点，执行“ifconfig”命令，系统回显中“eth0:wsom”表示MRS Manager浮动IP地址，请记录“inet”的实际参数值。如果在Master2节点无法查询到MRS Manager的浮动IP地址，请切换到Master1节点查询并记录。如果只有一个Master节点时，直接在该Master节点查询并记录。 MRS 3.x之前版本集群 具体请参见访问MRS Manager（MRS 2.x及之前版本）。 MRS 3.x及以后版本请参见访问FusionInsight Manager（MRS 3.x及之后版本）。 分析集群 HDFS NameNode MRS 3.x之前版本集群，在集群详情页选择“组件管理> HDFS > NameNode WebUI > NameNode (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> HDFS > NameNode WebUI > NameNode ( 主机名称 ，主)” HBase HMaster MRS 3.x之前版本集群，在集群详情页选择“组件管理> HBase > HMaster WebUI > HMaster (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> HBase > HMaster WebUI > HMaster ( 主机名称 ，主)” MapReduce JobHistoryServer MRS 3.x之前版本集群，在集群详情页选择“组件管理> Mapreduce > JobHistoryServer WebUI > JobHistoryServer” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Mapreduce > JobHistoryServer WebUI > JobHistoryServer ( 主机名称 ，主)” YARN ResourceManager MRS 3.x之前版本集群，在集群详情页选择“组件管理> Yarn > ResourceManager WebUI > ResourceManager (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Yarn > ResourceManager WebUI > ResourceManager ( 主机名称 ，主)” Spark JobHistory MRS 3.x之前版本集群，在集群详情页选择“组件管理> Spark > Spark WebUI > JobHistory” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Spark2x > Spark2x WebUI > JobHistory2x ( 主机名称 )” Hue MRS 3.x之前版本集群，在集群详情页选择“组件管理> Hue > Hue WebUI > Hue (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Hue > Hue WebUI > Hue (主机名称 ，主)” Loader页面是基于开放源代码Sqoop WebUI的图形化数据迁移管理工具，由Hue WebUI承载。 Tez MRS 3.x之前版本集群，在集群详情页选择“组件管理> Tez > Tez WebUI > TezUI” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Tez > Tez WebUI > TezUI ( 主机名称 )” Presto MRS 3.x之前版本集群，在集群详情页选择“组件管理> Presto > Presto WebUI > Coordinator (主)” 在Manager页面选择“集群>服务> Presto > Coordinator WebUI > Coordinator(Coordinator)” Ranger MRS 3.x之前版本集群，在集群详情页选择“组件管理> Ranger > Ranger WebUI > RangerAdmin (主)” MRS 3.x及以后版本集群，在Manager页面选择“集群>服务> Ranger > Ranger WebUI > RangerAdmin” 流处理集群 Storm MRS 3.x之前版本集群，在集群详情页选择“组件管理> Storm > Storm WebUI > UI” 在Manager页面选择“集群>服务> Storm > Storm WebUI > UI (主机名称 )”

本章节主要介绍Spark2x对接OBS文件系统。 MRS集群支持Spark2x在集群安装完成后对接OBS文件系统。 使用本章节前已参考配置存算分离集群（委托方式）或配置存算分离集群（AKSK方式）完成存算分离集群配置。 集群安装后使用spark beeline 1.登录FusionInsight Manager，选择“集群 > 服务 > Spark2x > 配置 > 全部配置”。 在左侧的导航列表中选择“JDBCServer2x>自定义”。在参数“spark.hdfssite.customized.configs”中添加配置项“dfs.namenode.acls.enabled”，值为“false”。 2.在搜索框中搜索参数“spark.sql.statistics.fallBackToHdfs”，修改该参数值为“false”。 3.保存配置并重启JDBCServer2x实例。 4.使用安装客户端用户登录客户端安装节点。 5.配置环境变量。 source ${clienthome}/bigdataenv 6.如果是安全集群，使用以下命令用户进行用户认证，如果当前集群未启用Kerberos认证，则无需执行此命令。 kinit 用户名 7.在sparkbeeline中访问OBS，例如在“obs://mrsword001/table/”目录中创建表“test”。 create table test(id int) location ' obs://mrsword001/table/ '; 8.执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。 show tables; 详见下图：Spark2x验证返回已创建的表名 9.使用“Ctrl + C”退出spark beeline。

本章节主要介绍如何快速创建ClickHouse集群。 本章节为您介绍如何快速创建一个ClickHouse集群，ClickHouse是一个用于联机分析的列式数据库管理系统，具有极致压缩率和极速查询性能。被广泛的应用于互联网广告、App和Web流量、电信、金融、物联网等众多领域。 ClickHouse集群包含的组件： MRS 3.1.0版本：ClickHouse 21.3.4.25、ZooKeeper 3.5.6。 CPU架构为鲲鹏计算的ClickHouse集群表引擎不支持使用HDFS和Kafka。 快速创建ClickHouse集群 1.登录MRS管理控制台。 2.单击“创建集群”，进入“创建集群”页面。 3.在创建集群页面，选择“快速创建”页签。 4.参考下列参数说明配置集群基本信息，参数详细信息请参考创建自定义集群。 区域：默认即可。 集群名称：可以设置为系统默认名称，但为了区分和记忆，建议带上项目拼音缩写或者日期等。例如：“mrs20201121”。 版本类型：默认选择普通版（不同版本提供的组件有所不同，请根据需要选择版本类型）。 集群版本：默认选择最新版本即可（不同版本集群提供的组件有所不同，请根据需要选择集群版本）。 组件选择：选择“ClickHouse集群”。 可用区：默认即可。 虚拟私有云：默认即可。如果没有虚拟私有云，请单击“查看虚拟私有云”进入虚拟私有云，创建一个新的虚拟私有云。 子网：默认即可。 CPU架构：默认即可。 集群节点：请根据自身需要选择集群节点规格数量等。MRS 3.x及之后版本集群Master节点规格不能小于64GB。 用户名：默认为“root/admin”，root用于远程登录ECS机器，admin用于登录集群管理页面。 密码：设置root用户和admin用户密码。 确认密码：再次输入设置的root用户和admin用户密码。 5.勾选“确认授权”开通通信安全授权，通信安全授权详情请参考授权安全通信。 6.单击“立即申请”。 当集群开启Kerberos认证时，需要确认是否需要开启Kerberos认证，若确认开启请单击“继续”，若无需开启Kerberos认证请单击“返回”关闭Kerberos认证后再创建集群。 7.单击“返回集群列表”，可以查看到集群创建的状态。单击“访问集群”，可以查看集群详情。 集群创建的状态过程请参见 集群概览章节查看集群状态部分 集群列表参数中的“状态”参数说明。 集群创建需要时间，所创集群的初始状态为“启动中”，创建成功后状态更新为“运行中”，请您耐心等待。 MRS系统界面支持同一时间并发创建10个集群，且最多支持管理100个集群。

客户端常见使用问题 1. 当执行HDFS客户端命令时，客户端程序异常退出，报“java.lang.OutOfMemoryError”的错误。 这个问题是由于HDFS客户端运行时的所需的内存超过了HDFS客户端设置的内存上限（默认为128MB）。可以通过修改“ /HDFS/componentenv”中的“CLIENTGCOPTS”来修改HDFS客户端的内存上限。例如，需要设置该内存上限为1GB，则设置： CLIENTGCOPTS"Xmx1G" 在修改完后，使用如下命令刷新客户端配置，使之生效： source /bigdataenv 2. 如何设置HDFS客户端运行时的日志级别？ HDFS客户端运行时的日志是默认输出到Console控制台的，其级别默认是INFO级别。有的时候为了定位问题，需要开启DEBUG级别日志，可以通过导出一个环境变量来设置，命令如下： export HADOOPROOTLOGGERDEBUG,console 在执行完上面命令后，再执行HDFS Shell命令时，即可打印出DEBUG级别日志。 如果想恢复INFO级别日志，可执行如下命令： export HADOOPROOTLOGGERINFO,console 3. 如何彻底删除HDFS文件？ 由于HDFS的回收站机制，一般删除HDFS文件后，文件会移动到HDFS的回收站中。如果确认文件不再需要并且需要立马释放存储空间，可以继续清理对应的回收站目录（例如：hdfs://hacluster/user/ xxx /.Trash/Current/ xxx ）。

本章节主要介绍使用Hive客户端 。 操作场景 该任务指导用户在运维场景或业务场景中使用Hive客户端 前提条件 已安装客户端，例如安装目录为“/opt/hadoopclient”，以下操作的客户端目录只是举例，请根据实际安装目录修改。 各组件业务用户由系统管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Hive客户端（MRS 3.x之前版本） 1.以客户端安装用户，登录安装客户端的节点。 2.执行以下命令，切换到客户端安装目录。 cd /opt/hadoopclient 3.执行以下命令配置环境变量。 source bigdataenv 4.根据集群认证模式，完成Hive客户端登录。 安全模式，则执行以下命令，完成用户认证并登录Hive客户端。 kinit 组件业务用户 beeline 普通模式，则执行以下命令，登录Hive客户端，如果不指定组件业务用户，则会以当前操作系统用户登录。 beeline n 组件业务用户 说明 进行beeline连接后，可以编写并提交HQL语句执行相关任务。如需执行Catalog客户端命令，需要先执行!q命令退出beeline环境。 5. 使用以下命令，执行HCatalog的客户端命令。 hcat e "cmd" 其中 "cmd" 必须为Hive DDL语句，如 hcat e "show tables" 。 说明 若要使用HCatalog客户端，必须从“组件管理”页面单击“下载客户端”，下载全部服务的客户端。Beeline客户端不受此限制。 由于权限模型不兼容，使用HCatalog客户端创建的表，在HiveServer客户端中不能访问，但可以使用WebHCat客户端访问。 在普通模式下使用HCatalog客户端，系统将以当前登录操作系统用户来执行DDL命令。 退出beeline客户端时请使用!q命令，不要使用“Ctrl + c”。否则会导致连接生成的临时文件无法删除，长期会累积产生大量的垃圾文件。 在使用beeline客户端时，如果需要在一行中输入多条语句，语句之间以“;”分隔，需要将“entireLineAsCommand”的值设置为“false”。 设置方法：如果未启动beeline，则执行beelineentireLineAsCommandfalse命令；如果已启动beeline，则在beeline中执行!set entireLineAsCommand false命令。 设置完成后，如果语句中含有不是表示语句结束的“;”，需要进行转义，例如 select concatws(';',collectset(col1)) from tbl 。