与分布式缓存服务（DCS）的关系 分布式缓存服务（Distributed Cache Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DCS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。 与文档数据库服务（DDS）的关系 文档数据库服务（Document Database Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DDS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DDS表中。 与翼MapReduce服务（MRS）的关系 MapReduce服务（MapReduce Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从MRS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到MapReduce服务表中。 与数据治理中心的关系 在数据湖治理中心（Data Lake Governance Center）中，数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。

本章节主要介绍翼MapReduce的配置Syslog北向参数。 操作场景 该任务指导用户以Syslog方式将MRS Manager的告警事件上报到指定的监控运维系统中。 须知：Syslog协议未做加密，传输数据容易被窃取，存在安全风险。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下，单击“Syslog配置”。 “Syslog服务”的开关默认为关闭，单击启用Syslog服务。 2. 设置如下表所示的对接参数。 详见下表：对接参数 参数区域 参数名称 参数说明 Syslog协议 服务IP 设置对接服务器IP地址。 服务端口 设置对接端口。 协议 设置协议类型，取值范围： l “TCP” l “UDP” 安全级别 设置上报消息的严重程度，取值范围： l “Informational” l “Emergency” l “Alert” l “Critical” l “Error” l “Warning” l “Notice” l “Debug” Facility 设置产生日志的模块。 标识符 设置产品标识，默认为“MRS Manager”。 报告信息 报文格式 设置告警报告的消息格式，具体要求请参考界面帮助。 报告告警类型 设置需要上报的告警类型。 l “故障”表示Manager产生告警时会上报Syslog告警消息。 l “清除”表示清除Manager告警时会上报Syslog告警消息。 l “事件”表示Manager产生事件时会上报Syslog告警消息。 报告告警级别 设置需要上报的告警级别。支持“提示”、“一般”、“严重”和 “致命”。 未恢复告警上报设置 周期上报未恢复告警 设置是否按指定周期上报未清除的告警。“周期上报未恢复告警”的开关默认为关闭，单击启用此功能。 间隔时间（分钟） 设置周期上报未恢复告警到远程Syslog服务的时间间隔，当“周期上报未恢复告警”开关打开时启用。单位为分钟，默认值为“15”，取值范围为5分钟到一天（1440分钟）。 心跳设置 上报心跳 设置是否开启周期上报Syslog心跳消息。“周期上报未恢复告警”的开关默认为关闭，单击启用此功能。 心跳周期（分钟） 设置周期上报心跳的时间间隔，当“上报心跳”开关打开时启用。单位为分钟，默认值为“15”，取值范围为160。 心跳报文 设置心跳上报的内容，当“上报心跳”开关打开时启用，不能为空。支持数字、字母、下划线、竖线、冒号、空格、英文逗号和句号等字符，长度小于等于256。 说明：设置周期上报心跳报文后，在某些集群容错自动恢复的场景下（例如主备管理节点倒换）可能会出现报文上报中断的现象，此时等待自动恢复即可。 3. 单击“确定”，设置完成。

本章主要介绍翼MapReduce的更新集群密钥功能。 操作场景 在安装集群时，系统将自动生成加密密钥key值以对集群的部分安全信息（例如所有数据库用户密码、密钥文件访问密码等）进行加密存储。在集群安装成功后，如果原始密钥不慎意外泄露或者需要使用新的密钥，系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群密钥后，集群中新增加一个随机生成的新密钥，用于加密解密新保存的数据。旧的密钥不会删除，用于解密旧的加密数据。在修改安全信息后，例如修改数据库用户密码，新密码将使用新的密钥加密。 更新集群密钥需要停止集群，集群停止时无法访问。 前提条件 已确认主备管理节点IP。请参见登录管理节点。 停止依赖集群运行的上层业务应用。 操作步骤 1.登录FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 停止”，输入当前登录的用户密码确认身份。 在确认停止的对话框单击“确定”，等待界面提示停止成功。 3.以omm用户登录主管理节点。 4.执行以下命令，防止超时退出。 TMOUT0 说明 执行完本章节操作后，请及时恢复超时退出时间，执行命令 TMOUT 超时退出时间 。例如： TMOUT600 ，表示用户无操作600秒后超时退出。 5.执行以下命令，切换目录。 cd ${BIGDATAHOME}/omserver/om/tools 6.执行以下命令，更新集群密钥。 sh updateRootKey.sh 根据界面提示，输入 y ： The root key update is a critical operation. Do you want to continue?(y/n): 界面提示以下信息表示更新密钥成功： Step 41: The key save path is obtained successfully. ... Step 44: The root key is sent successfully. 7.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 启动”。 在弹出窗口中单击“确定”，等待界面提示启动成功。

本章主要介绍翼MapReduce的备份HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。

本章节主要介绍翼MapReduce的隔离主机操作。 操作场景 某个主机出现异常或故障，无法提供服务或影响集群整体性能时，可以临时将主机从集群可用节点排除，使客户端访问其他可用的正常节点。 说明 隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止，且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后部分服务的实例不再工作，服务的配置状态可能过期。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 待操作节点的SSH端口需保持默认（22），否则将导致本章节任务操作失败。 操作步骤 1. 登录FusionInsight Manager。 2. 单击“主机”。 3. 勾选待隔离主机前的复选框。 4. 在“更多”选择“隔离”。 在弹出窗口中，输入当前登录的用户密码确认管理员身份，单击“确定”。 5. 在确认隔离的对话框中勾选“我确定隔离所选主机，接受可能出现的服务故障等后果。”单击“确定”。 界面提示“操作成功。”，单击“完成”，主机成功隔离，“运行状态”显示为“已隔离”。 6. 以root用户登录到被隔离主机上，执行pkill 9 u omm命令终止节点上的omm用户的进程，然后执行ps ef grep 'container' grep '${BIGDATAHOME}' awk '{print $2}' xargs I '{}' kill 9 '{}'命令查找并终止container的进程。 7. 管理员已排除主机的异常或故障后，需要将主机隔离状态取消才能继续使用该主机。 在“主机”界面勾选已隔离的主机，选择“更多 > 取消隔离”。 说明 取消隔离后，主机上所有角色实例默认不启动。若需要启动主机上角色实例，可以在“主机”页面勾选目标主机，然后选择“更多 > 启动所有实例”。

本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后，需要为Yarn任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。 该任务指导系统管理员通过FusionInsight Manager配置队列策略。使用Superior调度器的租户队列，可以配置使用不同资源池的资源。 前提条件 已登录FusionInsight Manager。 已添加资源池。 任务队列不与其他队列相关联资源池，除了默认资源池。 操作步骤 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“资源分布策略”页签。 4. “集群”参数选择待操作的集群名称，然后在“资源池”选择指定的资源池。 5. 在“资源分配”列表指定队列的“操作”列，单击“修改”。 6. 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。 “权重”：表示租户能获得的资源。其初始值与最小资源百分比值一致。 “最小资源”：表示租户能获得的最少资源。 “最大资源”：表示租户能获得的最多资源。 “预留资源”：表示保留给租户自身队列，且不能借用给其他租户队列的资源。 7. 在“修改资源分配”窗口的“用户策略”页签设置用户策略。 说明 defaultUser(builtin)表示如果一个用户未配置策略，则默认使用defaultUser所指定的策略。该策略不可删除。 单击“添加用户策略”添加用户策略。 − “用户名”：表示用户的名称。 − “权重”：表示用户能获得的资源。 − “最多核数”：表示用户最多可以使用的虚拟核数。 − “最大内存”：表示用户最大可以使用的内存。 单击“操作”列的“修改”修改现有用户策略。 单击“操作”列的“清除”删除现有用户策略。 8. 单击“确定”保存配置。

使用说明 目前图片处理服务暂不支持客户自助开启，如需使用，请通过提交工单向天翼云客服申请。申请时，请说明具体希望达成如下哪种效果：自适应WEBP、自动瘦身、URL中携带特定参数实现图片处理。 自适应WEBP 自适应WEBP是图片格式转换的一种，开启自适应WEBP功能后，用户请求URL中无需携带相关参数，全站加速节点可将Accept请求头值中包括image/webp的图片格式自动转换为WEBP，以获得更好的压缩率及图像质量。 注意 开启自适应WEBP功能后，原始图片缓存会失效，短时间内文件命中率会下降，一段时间后会自行恢复，请避免在业务高峰期开启该功能。 自动瘦身 自动瘦身是图片质量转换的一种，开启自动瘦身后，用户请求URL中无需携带相关参数，全站加速节点可按照预先设定的相对质量比例自动完成图片质量转换，以对图片进行压缩，节省用户访问流量。 注意 如需配置自动瘦身功能，请在工单中注明自动瘦身比例。 URL中携带特定参数实现图片处理 开通图片处理功能后，用户可通过在URL中携带特定参数实现灵活的图片处理能力。 图片处理请求URL格式为： 具体字段含义如下： 参数 说明 www.ctyun.cn 在天翼云加速的全站加速域名。 a.jpg 需要处理的图片名称。 action 图片处理的固定参数名。 key1:value1 图片处理的具体参数，例如：format:bmp，则表示对该图片进行格式转换动作，将a.jpg转换为bmp格式。 key2:value2 图片处理的具体参数2，支持对同个图片做多个处理动作。 1. 存在多个处理参数时，getinfo优先级最高，如有该参数，其他参数忽略无效。 2. 存在多个处理参数，且不包括getinfo时，format格式转换参数将作为最后动作来处理，其他处理参数将按参数携带的先后顺序依次进行处理。 示例： 处理效果为：对a.jpg先将其绝对质量转换为80，再对其进行居中宽400高200的裁剪，最后将其转换为bmp图片格式。 目前支持的图片处理操作及对应参数如下： 图片处理功能 处理参数 说明 格式转换 format 对图片格式进行转换。 质量转换 quality 对图片质量进行转换，支持绝对质量转换和相对质量转换。 图片裁剪 cut 对图片进行指定位置的裁剪。 图片缩放 resize 对图片进行缩放。 图片旋转 rotate 对图片进行旋转。 图片色彩 brightnesscontrast 对图片的亮度和对比度进行调整。 添加水印 textwatermarks、imagewatermarks 添加文字水印或图片水印。 图片置灰 grayscale 对图片进行置灰。 渐进式加载 progressive 将图片转换为渐进式加载格式。 获取图片信息 getinfo 获取图片信息，包括图片的大小、宽、高、图片格式、图片质量和图片方向信息。

本节主要介绍云数据库GeminiDB的权限管理。 如果您需要对购买的云数据库 GeminiDB资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制天翼云资源的访问。 通过IAM，您可以在天翼云账号中给员工创建IAM用户，并授权控制他们对天翼云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有云数据库 GeminiDB的使用权限，但是不希望他们拥有删除云数据库 GeminiDB等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用云数据库 GeminiDB，但是不允许删除云数据库 GeminiDB的权限策略，控制他们对云数据库 GeminiDB资源的使用范围。 如果天翼云账号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用云数据库 GeminiDB服务的其它功能。 IAM是天翼云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。 关于IAM的详细介绍，请参见《IAM产品介绍》。 云数据库 GeminiDB权限 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 云数据库 GeminiDB部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域（如广州4）对应的项目（cngdgz1）中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问云数据库 GeminiDB时，需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于天翼云各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对ECS服务，管理员能够控制IAM用户仅能对某一类云主机资源进行指定的管理操作。 如表1所示，包括了云数据库 GeminiDB的所有系统权限。 表1 云数据库 GeminiDB系统权限 策略名称/系统角色 描述 类别 依赖关系 GeminiDB FullAccess 云数据库 GeminiDB服务所有权限。 系统策略 创建包周期实例需要配置CBC权限： bss:balance:view bss:balance:update bss:order:view bss:order:pay bss:order:update bss:renewal:view bss:renewal:update 退订包周期实例需要配置CBC权限： bss:unsubscribe:update GeminiDB ReadOnlyAccess 云数据库 GeminiDB服务只读权限。 系统策略 无 表2列出了云数据库 GeminiDB常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 GeminiDB FullAccess GeminiDB ReadOnlyAccess 创建实例 √ x 查询实例列表 √ √ 查询实例详情 √ √ 查询任务列表 √ √ 删除实例 √ x 重启实例 √ x 重置密码 √ x 变更实例安全组 √ x 修改数据库端口 √ x 绑定/解绑公网IP √ x 磁盘扩容 √ x 规格变更 √ x 节点扩容 √ x 节点缩容 √ x 修改备份策略 √ x 重命名实例 √ x 创建手动备份 √ x 查询备份列表 √ √ 恢复到新实例 √ x 删除备份 √ x 创建参数模板 √ x 查询参数模板列表 √ √ 修改参数模板 √ x 删除参数模板 √ x 查询企业项目配额管理列表 √ √ 修改企业项目配额 √ x 切换SSL开关 √ x 停止备份 √ x 表3列出了云数据库 GeminiDB常用操作以及对应的授权项，您可以参照该表自定义配置权限策略。 表3 常用操作与对应的授权项 操作 授权项 授权范围 备注 实例创建页 vpc:vpcs:list vpc:subnets:get vpc:securityGroups:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 创建页需要查询对应的VPC、子网、安全组。 创建实例 nosql:instance:create vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:ports:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 界面使用默认VPC、子网、安全组需对应配置vpc::create权限， 创建加密实例需要在项目上配置KMS Administrator权限。 查询实例列表 nosql:instance:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询实例详情 nosql:instance:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 如果实例详情界面需要展示VPC、子网、安全组，请增加vpc::get和vpc::list授权项。 查询任务列表 nosql:task:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除实例 nosql:instance:delete 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除实例需要同时删除数据侧IP地址。 重启实例 nosql:instance:restart 支持： IAM项目(Project) 企业项目(Enterprise Project) 重置密码 nosql:instance:modifyPasswd 支持： IAM项目(Project) 企业项目(Enterprise Project) 变更实例安全组 nosql:instance:modifySecurityGroup 支持： IAM项目(Project) 企业项目(Enterprise Project) 修改数据库端口 nosql:instance:modifyPort 支持： IAM项目(Project) 企业项目(Enterprise Project) 绑定公网IP nosql:instance:bindPublicIp 支持： IAM项目(Project) 绑定公网IP时，需要查询已经创建好的公网IP。 不支持企业项目 不支持细粒度 解绑公网IP nosql:instance:unbindPublicIp 支持： IAM项目(Project) 不支持企业项目 不支持细粒度 磁盘扩容 nosql:instance:modifyStorageSize 支持： IAM项目(Project) 企业项目(Enterprise Project) 规格变更 nosql:instance:modifySpecification 支持： IAM项目(Project) 企业项目(Enterprise Project) 节点扩容 nosql:instance:extendNode vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:ports:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 节点缩容 nosql:instance:reduceNode 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除集群节点。 修改备份策略 nosql:instance:modifyBackupPolicy 支持： IAM项目(Project) 企业项目(Enterprise Project) 重命名实例 nosql:instance:rename 支持： IAM项目(Project) 企业项目(Enterprise Project) 创建手动备份 nosql:backup:create 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询备份列表 nosql:backup:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 下载备份文件 nosql:backup:download 支持： IAM项目(Project) 企业项目(Enterprise Project) 恢复到新实例 nosql:backup:restoreToNewInstance vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:ports:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 加密实例需要在项目上配置KMS Administrator权限。 备份恢复到已有实例 nosql:backup:restoreToExistInstance 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除备份 nosql:backup:delete 支持： IAM项目(Project) 企业项目(Enterprise Project) 创建参数模板 nosql:param:create 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询参数模板列表 nosql:param:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 修改参数模板中的参数值 nosql:param:modify 支持： IAM项目(Project) 企业项目(Enterprise Project) 变更实例下节点的参数配置 nosql:instance:modifyParameter 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除参数模板 nosql:param:delete 支持： IAM项目(Project) 企业项目(Enterprise Project) 标签操作 nosql:instance:tag tms:resourceTags:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 标签列表 nosql:tag:list tms:resourceTags:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询企业项目配额管理列表 nosql:quota:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 修改企业项目配额 nosql:quota:modify 支持： IAM项目(Project) 企业项目(Enterprise Project) 切换审计日志开关 nosql:instance:switchAuditLog 支持： IAM项目(Project) 企业项目(Enterprise Project) 下载审计日志 nosql:instance:downloadAuditLog 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除审计日志 nosql:instance:deleteAuditLog 支持： IAM项目(Project) 企业项目(Enterprise Project) 更新慢日志明文开关 nosql:instance:modifySlowLogPlaintextSwitch 支持： IAM项目(Project) 企业项目(Enterprise Project) 切换SSL开关 nosql:instance:switchSSL 支持： IAM项目(Project) 企业项目(Enterprise Project) 修改内网IP nosql:instance:modifyPrivateIp 支持： IAM项目(Project) 企业项目(Enterprise Project) 切换主备节点 nosql:instance:switchover 支持： IAM项目(Project) 企业项目(Enterprise Project) 数据库补丁升级 nosql:instance:upgradeDatabaseVersion 支持： IAM项目(Project) 企业项目(Enterprise Project) 停止备份 nosql:backup:stop 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询日志配置组 lts:groups:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询日志配置流 lts:topics:get 支持： IAM项目(Project) 企业项目(Enterprise Project)

本章节主要介绍翼MapReduce 的配置监控与告警阈值功能。 操作场景 配置监控与告警阈值用于关注各指标的健康情况。勾选“发送告警”后，当监控数据达到告警阈值，系统将会触发一条告警信息，将在“告警管理”中出现此告警信息。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下，单击“阈值配置”，依据规划选择监控指标并设置其基线。 2. 单击某一指标例如“CPU使用率”，单击“添加规则”。 3. 在“配置”对话框中填写监控指标规则参数。 详见下表：监控指标规则参数 参数名 参数解释 参数值 规则名称 规则名称 CPUMAX（举例） 参考日期 查看某指标的历史参考数据 2014/11/06（举例） 阈值类型 选择某指标的最大值或最小值，类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警，类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 l 最大值 l 最小值 告警级别 告警级别 l 致命 l 严重 l 一般 l 提示 时间范围 设置规则生效时监控指标的具体时间段 从00:00到23:59（举例） 阈值 设置规则监控指标的阈值 设置数值80（举例） 日期 设置规则生效的日期类型 l 工作日 l 周末 l 其它 添加日期 日期选择“其他”时该参数生效。可选择多个日期。 11/30（举例） 4. 单击“确定”。界面右上角弹出提示“模板保存成功。”。 “发送告警”默认已勾选。Manager会检查监控指标数值是否满足阈值条件，若连续检查且不满足的次数等于“平滑次数”设置的值则发送告警，支持自定义。“检查周期(秒)”表示Manager检查监控指标的时间间隔。 5. 在新添加规则所在的行，单击“操作”下的“应用”，界面右上角弹出提示规则xx应用成功，完成添加。单击“操作”下的“取消应用”，界面右上角弹出提示规则xx取消成功。

本章节主要介绍翼MapReduce的服务详情操作。 总览 登录FusionInsight Manager以后，选择“集群 > 待操作集群的名称 > 服务”，在服务列表单击指定的服务名称打开服务详情页面，包含“概览”、“实例”、“实例组”和“配置”等页面，以及功能区。部分服务还支持显示自定义的管理工具页面，具体支持列表如下表所示。 自定义管理工具名称一览表 工具名称 对应服务 说明 Flume配置工具 Flume 用于为Flume的服务端和客户端配置采集参数。 Flume客户端管理工具 Flume 查看Flume客户端监控信息。 Kafka Topic监控工具 Kafka 用于为Kafka的Topic提供监控与管理。 其中“概览”为默认页，包含基本信息、角色列表、依赖关系表和监控图表等，右上角可对服务进行管理，基本管理如启动、停止、滚动重启、同步配置请参考上表，其他服务管理操作如下表所示： 服务管理操作 操作入口 说明 “更多 > 健康检查” 为当前服务进行健康检查，健康检查可以包含三方面检查项：各检查对象的“健康状态”、相关的告警和自定义的监控指标，检查结果并不能等同于界面上显示的“运行状态”。健康检查的结果可直接在检查列表左上角单击“导出报告”，选择导出结果。如果发现问题，可以单击“查看帮助”。 “更多 > 下载客户端” 为用户下载默认的仅包含具体服务的客户端，通过客户端执行管理操作、运行业务或进行二次开发，具体可参考下载客户端。 “更多 > 修改服务名称” 修改当前服务名称。 “更多 > 执行角色名称倒换” 具体请参考执行角色实例主备倒换。 “更多 > 进入维护模式/退出维护模式” 配置服务进入/退出维护模式。 “配置 > 导入/导出” 在迁移服务到新集群场景或者重新部署相同服务的场景下，为具体服务的所有配置数据做导入或者导出操作，实现配置结果的快速复制。

本章主要介绍翼MapReduce的恢复HDFS业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HDFS进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录（例如“/tmp/logs”、“/tmp/archived”、“/tmp/hadoopyarn/staging”），不能进行HDFS恢复操作，否则进行恢复的Distcp任务会由于文件丢失而导致恢复失败。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HDFS的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HDFS备份文件保存路径。 停止HDFS的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节主要介绍翼MapReduce的管理租户目录操作。 操作场景 管理员通过FusionInsight Manager管理指定租户使用的HDFS存储目录，能根据业务需求对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加具有HDFS存储资源的租户。 查看租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS存储”表格。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额 ”列表示租户目录的存储空间大小。 添加租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击需要修改HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，单击“添加目录”。 “父目录”，表示当前租户对应父租户的存储目录。 说明 当前租户不是子租户则不显示此参数。 “路径”，填写租户目录的路径。 说明 当前租户不是子租户则新路径将在HDFS的根目录下创建。 “文件目录数上限”填写文件和目录数量配额。 文件数阈值配置（%），只有设置了“文件目录数上限”才会生效。表示当已使用的文件数超过了设置的“文件目录数上限”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 当前已使用的文件数的数据采集周期为1个小时，因此超过文件数阈值的告警上报会存在延迟。 “存储空间配额”，填写租户目录的存储空间大小。 存储空间阈值配置（%），表示已使用存储空间超过了设置的“存储空间配额”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 已使用的存储空间的数据采集周期为1个小时，因此超过存储空间阈值的告警上报会存在延迟。 5. 单击“确定”完成租户目录添加。

本章节主要介绍翼MapReduce的在线检索日志操作。 操作场景 FusionInsight Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“运维 > 日志 > 在线检索”。 3. 根据所需查询日志分别填写下表各参数，用户可以根据需要选择所需查阅日志时长，缺省时间区间包括：半小时、1小时、2小时、6小时、12小时、1天、1周、1月，也可以单击自定义“开始时间”和“结束时间”： 日志检索参数 参数名 说明 检索内容 检索的关键字或正则表达式。 服务 选择所需查询日志的服务或模块。 文件 当且仅当选择服务中一个角色时，支持选择指定日志文件进行搜索。 最低日志级别 选择所需查询日志的最低级别，选择某一级别后会显示从本级别到更高级别的日志。级别从低到高依次为：TRACE < DEBUG < INFO < WARN < ERROR < FATAL 主机范围 单击可勾选所需主机。 请输入所需查询日志的节点主机名或管理平面的IP地址。 各IP地址间用“,”隔开，例如：192.168.10.10,192.168.10.11。 如果IP地址连续，用“”连接。例如：192.168.10.[1020]。 如果IP地址分段连续，连续时用“”连接，各IP地址段间用“,”隔开，例如：192.168.10.[1020,3040]。 说明 如不指定，默认选择所有主机。 一次性输入最多10个表达式。 所有表达式一次性最多匹配2000个主机。 高级配置 最大数量：一次性显示的最大日志条数，如果检索到的日志数量超过设定值，时间较早的将被忽略。不配表示不限制。 检索超时：用于限制每个节点上的最大检索时间，超时后会中止搜索，已经搜索到的结果仍会显示。 4. 单击“检索”开始搜索，结果包含字段如下表所示。 检索结果 参数名 说明 时间 该行日志产生的具体时间点。 来源 产生日志的集群。 主机名称 记录该行日志的日志文件所在节点的主机名。 位置 该行日志所在的日志文件的具体路径。单击位置信息可进入在线日志浏览页面。默认显示该日志所在行前后各100条日志，可单击页首或页尾的“更多”显示更多日志信息。单击“下载”可以下载该日志文件到本地。 行号 该行日志在日志文件中所在的行数。 级别 该行日志的级别。 日志 日志的具体内容。 说明 在检索过程中可单击“停止”强制停止当前检索进度，并在列表中显示已检索出的结果。 5. 单击“过滤”，可以针对界面上已经显示的日志信息进行二次筛选，具体字段如下表所示。填写完毕后，单击“过滤”进行检索，单击“重置”可清空已填写信息。 过滤 参数名 说明 关键字 需要检索的日志关键字。 主机名称 需要检索的主机名。 位置 所需检索的日志文件路径。 开始时间 所需检索日志信息的开始时间。 结束时间 所需检索日志信息的结束时间。 来源集群 需要检索的集群。

本章节主要介绍翼MapReduce的配置SNMP北向参数。 操作场景 该任务指导用户采用SNMP协议把MRS Manager的告警、监控数据集成到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下，单击“SNMP配置”。 “SNMP服务”的开关默认为关闭，单击启用SNMP服务。 2. 设置如下表所示的对接参数。 详见下表：对接参数 参数名称 参数说明 版本 SNMP协议版本号，取值范围： l v2c：低版本，安全性较低 l v3：高版本，安全性比v2c高 推荐使用v3版本。 本地端口 本地端口，默认值“20000”，取值范围“1025”到“65535”。 读团体名 该参数仅在设置“版本”为v2c时存在，用于设置只读团体名。 写团体名 该参数仅在设置“版本”为v2c时存在，用于设置可写团体名。 安全用户名 该参数仅在设置“版本”为v3时存在，用于设置协议安全用户名。 认证协议 该参数仅在设置“版本”为v3时存在，用于设置认证协议，推荐选择SHA。 认证密码 该参数仅在设置“版本”为v3时存在，用于设置认证密钥。 确认认证密码 该参数仅在设置“版本”为v3时存在，用于确认认证密钥。 加密协议 该参数仅在设置“版本”为v3时存在，用于设置加密协议，推荐选择AES256。 加密密码 该参数仅在设置“版本”为v3时存在，用于设置加密密钥。 确认加密密码 该参数仅在设置“版本”为v3时存在，用于确认加密密钥。 “认证密码”和“加密密码”密码长度为8到16位，至少需要包含大写字母、小写字母、数字、特殊字符中的3种类型字符。两个密码不能相同。两个密码不可和安全用户名或安全用户名的逆序字符相同。 使用SNMP协议从安全方面考虑，需要定期修改“认证密码”和“加密密码”密码。 使用SNMP v3版本时，安全用户在5分钟之内连续鉴权失败5次将被锁定，5分钟后自动解锁。 3. 单击“Trap目标”下的“添加Trap目标”，在弹出的“添加Trap目标”对话框中填写以下参数： 目标标识：Trap目标标识，一般指接收Trap的网管或主机标识。长度限制1～255字节，一般由字母或数字组成。 目标IP：目标IP。可使用A、B、C类IP地址，要求可与管理节点的管理平面IP地址互通。 目标端口：接收Trap的端口，要求与对端保持一致，取值范围“0”～“65535”。 Trap团体名：该参数仅在设置Version为v2c时存在，用于设置主动上报团体名。 单击“确定”，设置完成，退出“添加Trap目标”对话框。 4. 单击“确定”，设置完成。

本章节主要介绍翼MapReduce组件Spark使用时的常见问题。 Spark 任务内存不足情况需要根据具体问题进行具体分析。 首先spark统一内存模型将内存分为offheap和heap两部分内存，每一个部分都可能发生内存不足的情况。 offheap内存不足的情况 offheap内存作用 为了进一步优化内存的使用以及提高 Shuffle 时排序的效率，Spark 引入了堆外（Offheap）内存，使之可以直接在工作节点的系统内存中开辟空间，存储经过序列化的二进制数据。 利用JDK Unsafe API（从 Spark 2.0 开始，在管理堆外的存储内存时不再基于 Tachyon，而是与堆外的执行内存一样，基于 JDK Unsafe API 实现），Spark 可以直接操作系统堆外内存，减少了不必要的内存开销，以及频繁的 GC 扫描和回收，提升了处理性能。堆外内存可以被精确地申请和释放，而且序列化的数据占用的空间可以被精确计算，所以相比堆内内存来说降低了管理的难度，也降低了误差。 offheap参数和动态扩展机制 Spark堆外内存的大小可以由spark.memory.offHeap.size控制，spark offheap空间只分为 execution 和 storage 1:1两部分，两部分可以动态扩展。 offheap不足 目前常用的offheap常见是 executor端，map task侧 shuffle时候，由于ShuffleExternalSorter占用内存过大，导致内存不足。 此外，在spark native场景中，spark将更多的使用 spark offheap内存取代heap内存，因此spark offheap在非shuffle场景下也会占用很多offheap内存。 如果存在offheap 内存不足警告，可以酌情添加spark.memory.offHeap.size 或者 降低shuffle 内存缓冲区大小。 heap内存不足的情况 spark将heap内存做如下分割 每一个部分超出使用上线都可能产生内存不足的情况。

本章节主要介绍翼MapReduce的修改服务自定义配置参数操作。 操作场景 MRS集群各个组件支持开源的所有参数，其中部分关键使用场景的参数支持在FusionInsight Manager界面进行修改，且部分组件的客户端可能不包含开源特性的所有参数。如果需要修改其他Manager未直接支持的组件参数，管理员可以在Manager通过自定义配置项功能为组件添加新参数。添加的新参数最终将保存在组件的配置文件中并在重启后生效。 对系统的影响 配置服务属性后，如果服务状态为“配置过期”，则需要重启此服务，重启期间该服务不可用。 修改服务配置参数并重启生效后，需要重新下载并安装客户端，或者下载配置文件刷新客户端。 前提条件 管理员已充分了解需要新添加的参数意义、生效的配置文件以及对组件的影响。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 选择“配置 > 全部配置”。 5. 在左侧导航栏定位到某个一级节点，并选择“自定义”，Manager将显示当前组件的自定义参数。 “参数文件”显示保存管理员新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数，设置不同参数值后生效结果由组件加载配置文件的顺序决定。自定义参数支持服务级别与角色级别，请根据业务实际需要选择。不支持单个角色实例添加自定义参数。 6. 在对应参数项所在行“名称”列输入组件支持的参数名，在“值”列输入此参数的参数值。 支持单击“＋”或“－”增加或删除一条自定义参数。 7. 单击“保存”，在弹出的“保存配置”窗口中确认修改参数，单击“确定”。界面提示“操作成功。”，单击“完成”，配置保存成功。 保存完成后请重新启动配置过期的服务或实例以使配置生效。

本章节主要介绍翼MapReduce的管理客户端操作。 操作场景 FusionInsight Manager支持统一管理集群的客户端安装信息，用户下载并安装客户端后，界面可自动记录已安装（注册）客户端的信息，方便查询管理。同时系统支持手动添加、修改未自动注册的客户端信息（如历史版本已安装的客户端）。 操作步骤 查看客户端信息 1. 登录FusionInsight Manager。 2. 选择“集群 >待操作集群的名称 > 客户端管理”，即可查看当前集群已安装的客户端信息。 用户可查看客户端所在节点的IP地址、安装路径、组件列表、注册时间及安装用户等信息。 在当前最新版本集群下载并安装客户端时，客户端信息会自动注册。 添加客户端信息 3. 如需手动添加已安装好的客户端信息，单击“添加”，根据界面提示手动添加客户端的IP地址、安装路径、用户、平台信息、注册信息等内容。 4. 配置好客户端信息，单击“确定”，添加成功。 修改客户端信息 5. 手动注册的客户端信息可以手动修改。 在“客户端管理”界面选择待修改的客户端，单击“修改”。修改信息后，单击“确定”完成修改。 删除客户端信息 6. 在“客户端管理”界面选择待删除的客户端，单击“删除”，在弹出的窗口中单击“确定”，即可删除客户端信息。 如需删除多个客户端信息，勾选待删除的客户端，单击“批量删除”，在弹出的窗口中单击“确定”，即可删除客户端信息。 导出客户端信息 7. 在“客户端管理”界面选择待操作的客户端，单击“导出全部”可导出所有已注册的客户端信息到本地。 说明 客户端管理界面上组件列表栏只展示有真实客户端的组件，因此部分没有客户端的组件和客户端特殊的组件不会显示在组件列表栏。 不显示的组件有： LdapServer、KrbServer、DBService、Hue、Mapreduce、Flume。 不显示的组件有： LdapServer、KrbServer、DBService、Hue、Mapreduce、Flume。

本章节主要介绍翼MapReduce的多租户管理页面概述操作。 统一的多租户管理 登录FusionInsight Manager，选择“租户资源 > 租户资源管理”，可以查看到FusionInsight Manager作为统一的多租户管理平台，集成了租户生命周期管理、租户资源配置、租户服务关联和租户资源使用统计等功能，为企业提供了成熟的多租户管理模型，实现集中式的租户和业务管理。 图形化的操作界面 FusionInsight Manager实现全图形化的多租户管理界面：通过树形结构实现多级租户的管理和操作，将当前租户的基本信息和资源配额集成在一个界面中，方便运维和管理，如下图所示多租户管理。 层级式的租户管理 FusionInsight Manager支持层级式的租户管理，可以为租户进一步添加子租户，实现资源的再次配置。一级租户下一级的子租户属于二级租户，以此类推。为企业提供了成熟的多租户管理模型，实现集中式的租户和业务管理。 简化的权限管理 FusionInsight Manager对普通用户封闭了租户内部的权限管理细节，对管理员简化了权限管理的操作方法，提升了租户权限管理的易用性和用户体验。 使用RBAC方式，在多租户管理时，可根据业务场景为各用户分别配置不同权限。 租户的管理员，具有租户的管理权限，包括：查看当前租户的资源和服务、在当前租户中添加/删除子租户并管理子租户资源的权限。支持定义单个租户的管理员，可以将租户的管理权限委托给系统管理员之外的其他用户。 租户对应的角色，具有租户的计算资源和存储资源的全部权限。创建租户时，系统自动创建租户对应的角色，可以添加用户并绑定该角色为其他用户授权，以使用该租户的资源。

本章节主要介绍翼MapReduce的修改OMS服务配置参数操作。 操作场景 根据用户环境的安全要求，管理员可以在FusionInsight Manager修改OMS中Kerberos与LDAP配置。 对系统的影响 修改OMS的服务配置参数后，需要重启对应的OMS模块，此时FusionInsight Manager将无法正常使用。 操作步骤 修改okerberos配置 1. 登录FusionInsight Manager，选择“系统 > OMS”。 2. 在okerberos所在行，单击“修改配置”。 3. 根据下表所示的说明修改参数。 okerberos参数配置一览表 参数名 说明 连接KDC最大时延（毫秒） 应用连接到Kerberos的超时时间，单位为毫秒，请填写整数值。 最大尝试次数 应用连接到Kerberos的最大重试次数，请填写整数值。 操作Ldap最大时延（毫秒） Kerberos连接LDAP的超时时间，单位为毫秒。 搜索Ldap最大时延（毫秒） Kerberos在LDAP查询用户信息的超时时间，单位为毫秒。 Kadmin监听端口 kadmin服务的端口。 KDC监听端口 kinit服务的端口。 Kpasswd监听端口 kpasswd服务的端口。 4. 单击“确定”。 在弹出窗口输入当前登录用户密码验证身份，单击“确定”，在确认重启的对话框中单击“确定”。 修改oldap配置 5. 在oldap所在行，单击“修改配置”。 6. 根据下表所示的说明修改参数。 oldap参数配置一览表 参数名 说明 Ldap服务监听端口 LDAP服务端口号。 7. 单击“确定”。 在弹出窗口输入当前登录用户密码验证身份，单击“确定”，在确认重启的对话框中单击“确定”。 说明 如果重置LDAP帐户口令需要重启ACS，操作步骤如下： 使用PuTTY，以omm用户登录主管理节点，执行以下命令更新域配置： sh ${BIGDATAHOME}/omserver/om/sbin/restartRealmConfig.sh复制 提示以下信息表示命令执行成功： Modify realm successfully. Use the new password to log into FusionInsight again.复制 执行 sh $CONTROLLERHOME/sbin/acscmd.sh stop ，停止ACS。 执行 sh $CONTROLLERHOME/sbin/acscmd.sh start ，启动ACS。

本章主要介绍翼MapReduce的解锁系统内部用功能。 操作场景 若服务出现异常状态，有可能是系统内部用户被锁定，请及时解锁，否则会影响集群正常运行。系统内部用户列表请参见用户帐号一览表。系统内部用户无法使用FusionInsight Manager解锁。 前提条件 根据用户帐号一览表获取LDAP管理员“cnroot,dchadoop,dccom”的默认密码。 操作步骤 1.使用以下方法确认系统内部用户是否被锁定： a.查询oldap端口： 登录FusionInsight Manager，选择“系统 > OMS > oldap > 修改配置”。 “Ldap服务监听端口”参数值即为oldap端口。 b.查询域名方法： 登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”。 “本端域”参数即为域名。 例如当前系统域名为“9427068F6EFA4833B43E60CB641E5B6C.COM”。 c.在集群内节点上以omm用户执行以下命令查询密码认证失败次数： ldapsearch H ldaps://OMS浮动IP地址:OLdap端口 LLL x D cnroot,dchadoop,dccom b krbPrincipalName系统内部用户名@当前域名,cn当前域名,cnkrbcontainer,dchadoop,dccom w LDAP管理员密码 e ppolicy grep krbLoginFailedCount 例如，查看oms/manager用户认证失败次数： ldapsearch H ldaps://10.5.146.118:21750 LLL x D cnroot,dchadoop,dccom b krbPrincipalNameoms/manager@9427068F6EFA4833B43E60CB641E5B6C.COM,cn9427068F6EFA4833B43E60CB641E5B6C.COM,cnkrbcontainer,dchadoop,dccom w cnroot,dchadoop,dccom 用户密码 e ppolicy grep krbLoginFailedCount krbLoginFailedCount: 5 d.登录FusionInsight Manager，选择“系统 > 权限 > 安全策略 > 密码策略”。 e.查看“密码连续错误次数”参数值，若小于等于“krbLoginFailedCount”参数值，则用户已被锁定。 说明 查看运行日志，也可以确认系统内部用户是否被锁定。 2.以omm用户登录主管理节点，执行以下命令解锁。 sh ${BIGDATAHOME}/omserver/om/share/om/acs/config/unlockuser.sh userName 系统内部用户名 例如， sh ${BIGDATAHOME}/omserver/om/share/om/acs/config/unlockuser.sh userName oms/manager

本章节主要介绍翼MapReduce的入服与退服实例操作。 操作场景 部分角色实例以分布式并行工作的方式对外部业务提供服务，服务会单独保存每个实例是否可以使用的信息，所以需要使用FusionInsight Manager为这些实例执行入服或退服的操作，变更实例的业务可用状态方式。 不支持该此功能的实例，默认无法执行任务。 说明 当前支持退服和入服操作的角色有：HDFS的DataNode、Yarn的NodeManager、HBase的RegionServer。 当DataNode数量少于或等于HDFS的副本数时，不能执行退服操作。若HDFS副本数为3时，则系统中少于4个DataNode，将无法执行退服，Manager在执行退服操作时会等待30分钟后报错并退出执行。 由于Mapreduce任务执行时，会生成一些副本数为10的文件，此时若DataNode实例数少于10时，将无法进行退服操作。 如果退服前，DataNode节点的机架数（机架数由各DataNode节点所配置的“机架”的名称数量决定）大于1；而退服部分DataNode后，剩余的DataNode节点的机架数变为1，则此次退服将会失败。所以需要在退服前评估退服操作对机架数的影响，以调整退服的DataNode节点。 在退服多个DataNode时，如果每个DataNode存储的数据量较大，如果执行选择多个DataNode同时退服，则很有可能会因超时而退服失败。为了避免这种情况，建议每次退服仅退服1个DataNode，进行多次退服操作。 操作步骤 1. DataNode节点退服前需要进行健康检查，步骤如下： 使用客户端用户登录客户端安装节点，并切换到客户端安装目录。 如果是安全集群，需要使用hdfs用户进行权限认证。 source bigdataenv

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（ExtractTransformLoad）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 详见下图：环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具：通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询能力，如车联网场景下，根据汽车编号查询汽车维护信息，存储时，汽车信息会基于汽车编号进行索引，以实现该场景下的秒级响应。通常这类数据量比较庞大，用户可能保存1至3年的数据。 例如在车联网行业，某车企将数据储存在HBase中，以支持PB级别的数据存储和毫秒级的数据详单查询。 详见下图：车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时：利用Kafka实现海量汽车的消息实时接入。 海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。 详见下图：梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集：利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。 海量的数据源接入：利用Kafka实现万级别的电梯数据的实时接入。

本章节主要介绍翼MapReduce的实例管理操作。 总览 登录FusionInsight Manager以后，例如选择“集群 > 待操作集群的名称 > 服务 > KrbServer > 实例”，进入实例管理页面，包含功能区和角色实例列表。 功能区 在功能区勾选需要操作的实例后，可对角色实例执行相关维护管理任务，例如启动或停止实例等，主要操作如下表所示。 实例维护管理功能 操作入口 说明 “ 启动实例” 将集群中指定实例启动。适用于操作状态为“未启动”、“停止失败”或“启动失败”角色实例，以使用该角色实例。 “ 更多 > 停止实例” 将集群中指定实例停止。适用于不再使用或异常的角色实例。 “ 更多 > 重启实例” 将集群中指定实例重启。适用于状态异常的角色实例，以恢复角色实例功能。 “ 更多 > 滚动重启实例” 为集群中指定实例提供不中断业务的重启操作，具体参数配置可参考滚动重启集群。 “ 更多 > 入服/退服” 为集群中指定实例执行入服务或退服的操作，变更实例的业务可用状态方式，具体可参考入服与退服实例。 说明 仅HDFS的角色DataNode、Yarn的角色NodeManager、HBase的角色RegionServer支持此操作。 “待操作实例名称> 更多 > 同步配置” 当某个角色实例的“配置状态”为“配置过期”，表示该角色实例修改配置后还未重启生效，新的配置仅保存在FusionInsight Manager。将新的配置下发至指定实例。 说明 同步角色实例配置后需要重启配置过期的角色实例。重启时对应的角色实例不可用。 完成同步配置后，完成后请重启实例以使配置生效。 “待操作实例名称> 实例配置” 具体请参考管理实例配置。 功能区支持按角色或运行状态进行快速筛选。 说明 单击“高级搜索”，支持指定其他筛选条件搜索指定的实例，例如主机名称、管理IP、业务IP和实例组等。

本章主要介绍翼MapReduce的修改LDAP管理员和LDAP用户密码（含OMS LDAP）功能。 操作场景 建议管理员定期修改集群的LDAP管理员用户“cnroot,dchadoop,dccom”和LDAP用户“cnpgsearchdn,ouUsers,dchadoop,dccom”的密码，以提升系统运维安全性。 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 说明 旧版本集群升级到新版本后，LDAP管理员密码将继承旧集群的密码策略，为保证系统安全，建议集群升级后及时修改密码。 对系统的影响 修改LdapServer服务的用户密码为高危操作，需要重启KrbServer和LdapServer服务。重启KrbServer可能会导致集群中的节点短时间内出现执行id命令查询不到用户的现象，请谨慎执行。 修改LDAP用户“cnpgsearchdn,ouUsers,dchadoop,dccom”的密码后，可能会导致该用户在组件LDAP上被锁定。因此，建议修改密码后对该用户进行解锁，解锁方法请参见解锁LDAP用户和管理帐户章节。 前提条件 修改LDAP用户“cnpgsearchdn,ouUsers,dchadoop,dccom”的密码前需先确认该用户没有被锁定，在集群主管理节点上执行如下命令： 说明 oldap端口查询方法： 1. 登录FusionInsight Manager，选择“系统 > OMS > oldap > 修改配置”； 2. “Ldap服务监听端口”参数值即为oldap端口。 ldapsearch H ldaps://OMS浮动地址:OLdap端口LLL x D cnpgsearchdn,ouUsers,dchadoop,dccom W b cnpgsearchdn,ouUsers,dchadoop,dccom e ppolicy 输入LDAP用户pgsearchdn的密码，出现如下提示表示该用户被锁定，则需要解锁用户，具体请参见解锁LDAP用户和管理帐户章节。 说明 LDAP用户pgsearchdn的密码为系统随机生成，具体可在主节点的“/etc/sssd/sssd.conf”或“/etc/ldap.conf”文件中获取。 ldapbind: Invalid credentials (49); Account locked

本页为您介绍WPS云文档天翼云版的计费项 WPS云文档天翼云版 标准版365/元/人/年 WPS云文档天翼云版 高级版599/元/人/年 WPS云文档天翼云版 基础版168/元/人/年 WPS云文档天翼云版 WPS会员89/元/人/年 WPS云文档天翼云版 稻壳会员 89/元/人/年 WPS云文档天翼云版 超级会员179/元/人/年 WPS云文档天翼云版 咨询服务8100元/人/天

本节介绍Kafka发送告警最佳实践 场景描述 如果您想要在消费组的消息堆积数超过阈值时，通过短信/邮件及时收到通知信息，可以参考本章节设置告警通知。 前提条件 已购买Kafka实例、创建Topic，并且已成功消费消息。 操作步骤 1. 登录Kafka实例控制台，单击待创建告警通知的实例名称，进入实例详情页。 2. 在左侧导航栏，选择“告警管理”，进入告警管理页面。 3. 点击“通知组”页签，创建联系人。 4. 点击“通知策略”页签，点击右上角“创建通知策略”按钮。 通知对象：选择前面流程中创建的联系人，在右侧选择联系方式邮件短信。 通知模板：可选择邮件、短信、翼连三种告警方式。 5. 点击“告警规则”页签，点击左上角“创建告警规则”按钮。 说明 告警名称：用于区别不同告警。 告警分组：可选择实例节点、主题和消费组，可根据具体需求选择，本文涉及情况应选择消费组。 告警指标：不同的告警分组包含不同的告警指标，本文涉及情况选择的是消费组中的堆积数告警。 告警条件：根据具体业务需求填写信息。 告警内容：不同的告警指标对应不同的告警内容，不建议改动。 持续时间：可选择马上告警，也可选择持续一段时间后才告警。 告警等级：可选择一般、次要、重要、紧急四个等级。 通知策略：选择前面流程中创建的通知策略。 通知频率：可选择隔多长时间告警一次。 6. 规则创建成功后可在告警规则页面查看其状态。

本章节主要介绍翼MapReduce的配置集群静态资源操作。 操作场景 当需要控制集群服务可以使用节点资源的情况，或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时，管理员可以在FusionInsight Manager调整资源基数，并自定义资源配置组。 对系统的影响 配置静态服务池后，受影响的服务的“配置状态”将显示为“配置过期”，需要重启服务，重启期间服务不可用。 配置静态服务池后，各服务及角色实例使用的最大资源将不能超过限制。 操作步骤 修改资源调整基数 1.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 静态服务池”。 2.单击右上角“配置”，进入静态资源池配置向导。 3.在“系统资源调整基数”分别修改参数“CPU（%）”和“Memory（%）”。 修改“系统资源调整基数”将限制服务能够使用节点的最大物理CPU和内存资源百分比。如果多个服务部署在同一节点，则所有服务使用的最大物理资源百分比不能超过此参数值。 4.单击“下一步”。 需要重新修改参数，可单击“上一步”返回。 修改资源池默认“default”配置组 5.单击“default”，在“权重配置”表格中各服务对应的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填写各服务的资源使用百分比数量。 说明 所有服务使用的“CPU LIMIT(%)”和 “CPU SHARE(%)”资源配置总和可以大于100%。 所有服务使用的“I/O(%)”资源配置总和可以大于100%，不能为0。 所有服务使用的“Memory(%)”资源配置总和可以小于或等于100%，也可以大于100%。 “Memory(%)”不支持动态生效，仅在“default”配置组中可以修改。 “CPU LIMIT(%)”用于配置服务可使用的CPU核数与节点可分配的CPU核数占比。 “CPU SHARE(%)”用于配置服务在与其他服务使用同一个CPU核的时间占比，即多个服务在使用同一个CPU核发生争抢时的时间占比。 6.单击“根据权重配置生成详细配置”，FusionInsight Manager将根据集群硬件资源与分配情况，生成资源池实际参数配置值。 7.单击“确定”。 在弹出窗口单击“确定”，确认保存配置。

本章主要介绍翼MapReduce的恢复Hive业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Hive数据。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动Hive的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查Hive备份文件保存路径。 停止Hive的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节主要介绍翼MapReduce的配置私有属性操作。 操作场景 admin用户或绑定Manageradministrator角色的管理员用户，可以在FusionInsight Manager配置私有属性功能开关，用于支持用户（集群中所有业务用户）设置或取消自己的私有（Independent）属性。 开启私有属性开关后，需要业务用户登录后设置Independent属性，完成用户私有属性配置。 限制约束 管理员不能设置或取消业务用户的Independent属性。 管理员不能获取私有用户的认证凭据。 前提条件 已获取要求权限的管理员用户和密码。 操作步骤 配置私有属性开关 1. 以admin用户或绑定Manageradministrator角色的用户登录FusionInsight Manager。 2. 选择“系统 > 权限 > 安全策略 > 配置Independent”。 3. 打开或关闭Independent属性，根据提示输入密码，单击“确认”完成身份验证。 4. 身份验证通过后，等待修改OMS配置完成，单击“完成”结束操作。 说明 关闭Independent属性功能后： 已拥有这个属性的业务用户可以在右上角用户名下取消Independent属性，取消后无法重新设置。取消后已创建的私有表继续保持私有属性，取消后无法继续创建私有表。 没有这个属性的业务用户无法在右上角用户名下进行设置和取消操作。 配置用户私有属性 5. 以业务用户登录FusionInsight Manager。 须知 设置Independent属性后，管理员不能初始化私有用户（业务用户设置了Independent属性后，即为私有用户）的密码；如果忘记此用户密码，密码将无法找回。 admin用户无法设置Independent属性。 6. 移动鼠标到界面右上角的用户名。 7. 在弹出的菜单栏中单击“设置Independent”或“取消Independent”。 说明 私有属性功能开关已开启，业务用户当前已设置私有属性时，菜单栏显示“取消Independent”。 私有属性功能开关已开启，业务用户当前已取消私有属性时，菜单栏显示“设置Independent”。 私有属性功能开关已关闭，业务用户当前已设置私有属性时，菜单栏显示“取消Independent”。 私有属性功能开关已关闭，业务用户当前已取消私有属性时，菜单栏不显示。 8. 根据界面提示，输入密码，单击“确定”完成身份验证。 9. 身份验证通过后，在确认对话框中单击“确定”。

本章节主要介绍翼MapReduce的配置Syslog北向参数操作。 操作场景 如果用户需要在统一的告警平台查看集群的告警和事件，管理员可以在FusionInsight Manager使用Syslog协议将相关数据上报到告警平台。 须知 Syslog协议未做加密，传输数据容易被窃取，存在安全风险。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“系统 > 对接 > Syslog”。 3. 单击“Syslog服务”右侧的开关。 “Syslog服务”默认为不启用，开关显示为表示启用。 4. 根据下表所示的说明填写北向参数。 Syslog对接参数 参数区域 参数名称 参数说明 Syslog协议 服务IP模式 设置对接服务器IP地址模式，可选择“IPV4”或者“IPV6”。 Syslog协议 服务IP 设置对接服务器IP地址。 Syslog协议 服务端口 设置对接端口。 Syslog协议 协议 设置协议类型，可选值： l TCP l UDP Syslog协议 安全级别 设置上报消息的严重程度，取值范围： l Emergency l Alert l Critical l Error l Warning l Notice l Informational（默认值） l Debug 说明 “安全级别”和“Facility”共同组成发出消息的优先级（Priority ）。 优先级（Priority ） “Facility” × 8 +“安全级别” “安全级别”和“Facility”各项对应的数值请参考下表：“安全级别”和“Facility”字段数值编码 。 Syslog协议 Facility 设置产生日志的模块。可选项参考下表：“安全级别”和“Facility”字段数值编码[](file:///D:/%E5%B7%A5%E4%BD%9C%E6%96%87%E4%BB%B6%E5%A4%B9/1%E3%80%81%E7%BF%BCMapReduce%EF%BC%88MRS%EF%BC%89/%E5%8D%8E%E4%B8%BA%E6%8F%90%E4%BE%9B%E6%96%87%E6%A1%A3MRS/%E5%A4%A9%E7%BF%BC%E5%9C%A8%E7%94%A8%E6%96%87%E6%A1%A323.6.26%EF%BC%88%E5%B7%B2%E4%BF%AE%E6%94%B9%EF%BC%89/%EF%BC%88%E5%B7%B2%E4%BF%AE%E6%94%B9%EF%BC%89%E7%BF%BCMapReduce%E6%9C%8D%E5%8A%A1%E7%94%A8%E6%88%B7%E6%93%8D%E4%BD%9C%E6%8C%87%E5%8D%97.docx