本章主要介绍翼MapReduce的加固策略功能。 加固Tomcat 在FusionInsight Manager软件安装及使用过程中，针对Tomcat基于开源做了如下功能增强： 升级Tomcat版本为官方稳定版本。 设置应用程序webapplications之下的目录权限为500，对webapplications之下的部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 webapplications下针对工程禁用自动部署功能，只部署了web、cas和clientregistry三个工程。 禁用部分未使用的http方法，防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令，避免被黑客捕获利用关闭服务器，降低对服务器和应用的威胁。 出于安全考虑，更改“maxHttpHeaderSize”的取值，给服务器管理员更大的可控性，以控制客户端不正常的请求行为。 安装Tomcat后，修改Tomcat版本描述文件。 为了避免暴露Tomcat自身的信息，更改Connector的Server属性值，使攻击者不易获知服务器的相关信息。 控制Tomcat自身配置文件、可执行文件、日志目录、临时目录等文件和目录的权限。 关闭会话facade回收重用功能，避免请求泄漏风险。 CookieProcessor使用LegacyCookieProcessor，避免cookie中的敏感数据泄漏。 加固LDAP 在安装完集群后，针对LDAP做了如下功能增强： LDAP配置文件中管理员密码使用SHA加密，当升级openldap版本为2.4.39或更高时，主备LDAP节点服务自动采用SASL External机制进行数据同步，避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议，可安全使用。当升级openldap版本为2.4.39或更高时，LDAP将自动使用TLS1.0以上的协议通讯，避免未知的安全风险。

本章主要介绍翼MapReduce的恢复Kafka元数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Kafka元数据，建议手动备份最新Kafka元数据后，再执行恢复操作。否则会丢失从备份时刻到恢复时刻之间的Kafka元数据信息。 对系统的影响 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，Kafka的消费者在ZooKeeper上保存的offset信息将会回退，可能导致重复消费。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 先停止Kafka服务，待恢复完成后，再启动Kafka服务。 登录FusionInsight Manager，请参见登录管理系统。

本章主要介绍翼MapReduce的备份HDFS业务数据功能。 操作场景 为了确保HDFS日常用户的业务数据安全，或者系统管理员需要对HDFS进行重大操作（如升级或迁移等），需要对HDFS数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HDFS任务并备份数据。支持创建任务自动或手动备份数据。 说明 加密目录不支持备份恢复。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照，否则无法创建备份任务。 如果数据要备份至NAS中，需要提前部署好NAS服务端。

本章节主要介绍翼MapReduce的切换Ranger鉴权操作。 操作场景 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，管理员可在服务页面手动停用Ranger鉴权，停用Ranger鉴权后，访问组件资源时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 从历史版本升级的集群，用户访问组件资源时默认不使用Ranger鉴权，管理员可在安装了Ranger服务后手动启用Ranger鉴权。 说明 安全模式集群中，支持使用Ranger鉴权的组件包括：HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark2x、Impala。 非安全模式集群中，Ranger可以支持基于OS用户进行组件资源的权限控制，支持启用Ranger鉴权的组件包括：HBase、HDFS、Hive、Spark2x、Yarn。 启用Ranger鉴权后，该组件所有鉴权将由Ranger统一管理，原鉴权插件设置的权限将会失效（HDFS与Yarn的组件ACL规则仍将生效），请谨慎操作，建议提前在Ranger上做好权限部署。 停用Ranger鉴权后，该组件所有鉴权将由组件自身权限插件管理，Ranger上设置的权限将会失效，请谨慎操作，建议提前在Manager上做好权限部署。 启用Ranger鉴权 1. 登录FusionInsight Manager。 2. 选择“集群 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 在服务详情页面单击“更多”，选择“启用Ranger鉴权”。 5. 输入当前登录的用户密码确认身份，单击“确定”。 6. 在服务列表，重启配置过期的服务。

本章主要介绍翼MapReduce的恢复DBService数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对DBService进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对DBService进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie的元数据。恢复DBService的数据将恢复全部相关组件的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，依赖DBService的组件可能配置过期，需要重启配置过期的服务。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常，不能执行恢复操作。

本章节主要介绍翼MapReduce的修改用户密码操作。 操作场景 出于安全的考虑，“人机”类型系统用户密码必须定期修改。 如果用户具备使用FusionInsight Manager的权限时，可以通过FusionInsight Manager完成修改自身密码工作。 如果用户不具备使用FusionInsight Manager的权限时，可以通过客户端修改自身密码。 前提条件 从管理员获取当前的密码策略。 已在集群内的任一节点安装了客户端，并获取此节点IP地址。请联系管理员获取客户端安装用户密码。 使用FusionInsight Manager修改密码 1. 登录FusionInsight Manager。 2. 移动鼠标到界面右上角的用户名。 在弹出菜单中单击“修改密码”。 3. 在“密码修改界面”分别输入“旧密码”、“新密码”、“确认新密码”，单击“确定”完成修改。 默认密码复杂度要求： 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~!@ $%^&()+[{}];', /? 。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同，N为配置密码策略中“重复使用规则”的值。 使用客户端修改密码 1. 以客户端安装用户登录安装客户端的节点。 2. 执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 3. 执行以下命令，配置环境变量。 source bigdataenv 4. 执行以下命令，修改系统用户密码。此操作对所有服务器生效。 kpasswd 系统用户名称 例如，修改系统用户“test1”，执行 kpasswd test1 。 默认密码复杂度要求： 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~!@

本章节主要介绍翼MapReduce的多租户功能。 定义 多租户是MRS集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源的能力。资源包括计算资源和存储资源。 背景 现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足： 不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。 某些类型的用户（例如银行、政府单位等）对数据安全非常关注，很难容忍将自己的数据与其他用户的放在一起。 这给大数据集群带来了以下挑战： 合理地分配和调度资源，以支持多种应用和作业在集群上平稳运行。 对不同的用户进行严格的访问控制，以保证数据和业务的安全。 多租户将大数据集群的资源隔离成一个个资源集合，彼此互不干扰，用户通过“租用”需要的资源集合，来运行应用和作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 对此，MRS企业级大数据集群提供了完整的企业级大数据多租户解决方案。 优势 合理配置和隔离资源 租户之间的资源是隔离的，一个租户对资源的使用不影响其他租户，保证了每个租户根据业务需求去配置相关的资源，可提高资源利用效率。 测量和统计资源消费 系统资源以租户为单位进行计划和分配，租户是系统资源的申请者和消费者，其资源消费能够被测量和统计。 保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。

本节主要介绍Redis常见使用规范，主要从Key名称、Value值、Redis命令以及其他方面描述。 Key名称 Key名称的使用规范如下： 使用统一的命名规范。 一般使用业务名(或数据库名)为前缀，用冒号分隔，例如，业务名:表名:id。 控制key名称的长度。 在保证语义清晰的情况下，尽量减少Key的长度。有些常用单词可使用缩写，例如，user缩写为u，messages缩写为msg。 名称中不要包含特殊字符。 Value值 Value值的使用规范如下： 要避免大Key。 大Key会带来网卡流量风暴和慢查询，一般string类型控制在10KB以内，hash、list、set、zset元素个数不要超过5000。 选择合适的数据类型。 比如存储用户的信息，可用使用多个key，使用set u:1:name "X"、set u:1:age 20这样存储，也可以使用hash数据结构，存储成1个key，设置用户属性时使用hmset一次设置多个，同时这样存储也能节省内存。 设置合理的过期时间。 最好是过期时间打散，不要集中在某个时间点过期。 Redis命令 Redis命令的常用规范如下： 时间复杂度为O(N)的命令，需要特别注意N的值。 例如：hgetall、lrange、smembers、zrange、sinter这些命令都是做全集操作，如果元素很多，是很耗性能的。可使用hscan、sscan、zscan这些分批扫描的命令替代。 命令禁用，使用前，请参考Redis命令兼容性和WebCli命令兼容性。 慎重使用select。 Redis多数据库支持较弱，多业务用多数据库实际还是单线程处理，会有干扰。最好是拆分使用多个Redis。天翼云集群实例不支持多DB。 如果有批量操作，可使用mget、mset或pipeline，提高效率，但要注意控制一次批量操作的元素个数。 mget、mset和pipeline的区别如下： mget和mset是原子操作，pipeline是非原子操作。 pipeline可以打包不同的命令，mget和mset做不到。 使用pipeline，需要客户端和服务端同时支持。 lua脚本的执行超时时间为5秒钟，建议不要在lua脚本中使用比较耗时的代码，比如长时间的sleep、大的循环等语句。 调用lua脚本时，建议不要使用随机函数去指定key，否则在主备节点上执行结果不一致，从而导致主备节点数据不一致。 集群实例使用lua有如下限制： 使用EVAL和EVALSHA命令时，命令参数中必须带有至少1个key，否则客户端会提示“ERR eval/evalsha numkeys must be bigger than zero in redis cluster mode”的错误。 使用EVAL和EVALSHA命令时，DCS Redis集群实例使用第一个key来计算slot，用户代码需要保证操作的key是在同一个slot。

使用说明 目前图片处理服务暂不支持客户自助开启，如需使用，请通过提交工单向天翼云客服申请。申请时，请说明具体希望达成如下哪种效果：自适应WEBP、自动瘦身、URL中携带特定参数实现图片处理。 自适应WEBP 自适应WEBP是图片格式转换的一种，开启自适应WEBP功能后，用户请求URL中无需携带相关参数，CDN节点可将Accept请求头值中包括image/webp的图片格式自动转换为WEBP，以获得更好的压缩率及图像质量。 注意 开启自适应WEBP功能后，原始图片缓存会失效，短时间内文件命中率会下降，一段时间后会自行恢复，请避免在业务高峰期开启该功能。 自动瘦身 自动瘦身是图片质量转换的一种，开启自动瘦身后，用户请求URL中无需携带相关参数，CDN节点可按照预先设定的相对质量比例自动完成图片质量转换，以对图片进行压缩，节省用户访问流量。 注意 如需配置自动瘦身功能，请在工单中注明自动瘦身比例。 URL中携带特定参数实现图片处理 开通图片处理功能后，用户可通过在URL中携带特定参数实现灵活的图片处理能力。 图片处理请求URL格式为： 具体字段含义如下： 参数 说明 www.ctyun.cn 在天翼云加速的CDN域名。 a.jpg 需要处理的图片名称。 action 图片处理的固定参数名。 key1:value1 图片处理的具体参数，例如：format:bmp，则表示对该图片进行格式转换动作，将a.jpg转换为bmp格式。 key2:value2 图片处理的具体参数2，支持对同个图片做多个处理动作。 1.存在多个处理参数时，getinfo优先级最高，如有该参数，其他参数忽略无效。 2.存在多个处理参数，且不包括getinfo时，format格式转换参数将作为最后动作来处理，其他处理参数将按参数携带的先后顺序依次进行处理。 示例： 处理效果为：对a.jpg先将其绝对质量转换为80，再对其进行居中宽400高200的裁剪，最后将其转换为bmp图片格式。 目前支持的图片处理操作及对应参数如下： 图片处理功能 参数 说明 格式转换 format 对图片格式进行转换。 质量转换 quality 对图片质量进行转换，支持绝对质量转换和相对质量转换。 图片裁剪 cut 对图片进行指定位置的裁剪。 图片缩放 resize 对图片进行缩放。 图片旋转 rotate 对图片进行旋转。 图片色彩 brightnesscontrast 对图片的亮度和对比度进行调整。 添加水印 textwatermarks、imagewatermarks 添加文字水印或图片水印。 图片置灰 grayscale 对图片进行置灰。 渐进式加载 progressive 将图片转换为渐进式加载格式。 获取图片信息 getinfo 获取图片信息，包括图片的大小、宽、高、图片格式、图片质量和图片方向信息。

本章节主要介绍翼MapReduce的分配机架操作。 操作场景 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求： 为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 为了提高容错能力，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。两层网络的集群如下图所示，Node1的Rack建议设置为 /Switch1/Rack1 ，Node4的Rack建议设置为 /Switch1/Rack2 。 两层网络结构 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况，管理员需设置机架名称来确定主机所处的机架，NameNode才能绘出DataNode的网络拓扑图，并尽可能将DataNode的数据备份在不同机架中。同理，YARN需要获取机架信息，在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时，需要使用FusionInsight Manager为主机重新分配机架，相关服务才会自动调整。 对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka，使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载（包括CPU、内存、磁盘、网络）不平衡，降低集群的可靠性，影响集群的稳定运行。所以在分配机架之前，需要进行全局的统筹，合理地设置机架。

与分布式缓存服务（DCS）的关系 分布式缓存服务（Distributed Cache Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DCS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。 与文档数据库服务（DDS）的关系 文档数据库服务（Document Database Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DDS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DDS表中。 与翼MapReduce服务（MRS）的关系 MapReduce服务（MapReduce Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从MRS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到MapReduce服务表中。 与数据治理中心的关系 在数据湖治理中心（Data Lake Governance Center）中，数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。

本章节主要介绍翼MapReduce的管理实例配置操作。 操作场景 每个单独的角色实例可以修改配置参数在迁移实例到新集群场景或者重新部署相同服务的场景下，管理员可以在FusionInsight Manager中将某服务所有配置数据导入或者导出，实现配置结果的快速复制。 FusionInsight Manager支持管理单个角色实例的配置参数，修改配置参数、导出实例配置或导入实例配置时不影响其他实例。 对系统的影响 修改角色实例配置后，如果实例状态为“配置过期”，则需要重启此实例。重启时对应的实例不可用。 修改实例配置 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作的集群名称 > 服务”。 3. 单击服务视图中指定的服务名称，并选择“实例”页签。 4. 单击指定的实例，选择“实例配置”。 默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将显示该实例支持的所有参数分类。 5. 在导航树选择指定的参数分类，并在右侧修改参数值。 不确定参数的具体位置时，支持在右上角输入参数名，Manager将实时进行搜索并显示结果。 6. 单击“保存”，并在确认对话框中单击“确定”。 等待界面提示“操作成功”，单击“完成”，配置已修改。 说明 角色实例配置参数修改后，如果实例状态为“配置过期”则需要重启此实例，可在“实例”页面勾选“配置过期”的实例，选择“更多 > 重启实例”。 导出导入实例配置 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中待操作的服务名称，并选择“实例”页签。 4. 单击待操作的实例，选择“实例配置”。 5. 单击“导出”，导出配置参数文件到本地。 6. 在实例配置页面单击“导入”，在弹出的配置文件选择框中定位到实例的配置参数文件，即可导入所有配置。

本章节主要介绍翼MapReduce的管理实例组操作。 操作场景 FusionInsight Manager支持对多个实例组的管理功能，即用户可以按照具有相同硬件配置的节点或者其他原则将同一角色内的多个实例进行分组。针对实例组进行的配置参数修改，将同时对组内所有的实例生效。 在大集群场景中，通过实例组将提升大集群下异构环境批量实例的管理能力，分配好实例组后，后续可反复配置，减少实例配置项的冗余，提升系统性能。 创建实例组 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中待操作的服务名称。 4. 选择“实例组”。 单击，按照界面提示填写参数。 实例组配置参数 参数名 说明 组名称 实例组名称只能包含字母、数字、下划线（）、中划线（）和空格，仅以字母、数字、下划线（）或中划线（）开头，只能在中间包含空格，并且不能超过99个字符。 角色 表示实例组包含哪个角色的实例。 复制源 指从指定的实例组复制配置值到新组，若为空，则新组对应的各配置值为系统默认值。 描述 只可以包含汉字、英文字母、数字、中英文逗号、中英文句号、下划线（）、空格和换行符，并且不能超过200个字符。 说明 每个实例必须且只能属于一个实例组，实例首次安装时默认属于的实例组为“ 角色名 DEFAULT”。 多余或者不再使用的实例组可以删除，删除前需要将组内的实例全部迁移至其他实例组，然后参照下方“删除实例组”对实例组进行删除，系统默认的实例组不可删除。 5. 单击“确定”完成创建实例组。

本章节主要介绍翼MapReduce的管理租户目录操作。 操作场景 管理员通过FusionInsight Manager管理指定租户使用的HDFS存储目录，能根据业务需求对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加具有HDFS存储资源的租户。 查看租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS存储”表格。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额 ”列表示租户目录的存储空间大小。 添加租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击需要修改HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，单击“添加目录”。 “父目录”，表示当前租户对应父租户的存储目录。 说明 当前租户不是子租户则不显示此参数。 “路径”，填写租户目录的路径。 说明 当前租户不是子租户则新路径将在HDFS的根目录下创建。 “文件目录数上限”填写文件和目录数量配额。 文件数阈值配置（%），只有设置了“文件目录数上限”才会生效。表示当已使用的文件数超过了设置的“文件目录数上限”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 当前已使用的文件数的数据采集周期为1个小时，因此超过文件数阈值的告警上报会存在延迟。 “存储空间配额”，填写租户目录的存储空间大小。 存储空间阈值配置（%），表示已使用存储空间超过了设置的“存储空间配额”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 5. 单击“确定”完成租户目录添加。

本节介绍如何快速上手iBox边缘盒子（园区版/城管版）。 设备默认信息 设备出厂默认WAN口的IPv4地址：dhcp。 设备出厂默认LAN口的IPv4地址：192.168.150.1。 常见厂商rtsp码流列表 海康相机RTSP地址格式为：“rtsp://用户名:密码@相机IP地址:554/ch1/main/avstream”。 大华相机RTSP地址格式为：“rtsp://用户名:密码@相机IP地址:554/cam/realmonitor?channel1&subtype0”。 华为相机RTSP地址格式为：“rtsp://用户名:密码@相机IP地址/LiveMedia/ch1/Media1”。 宇视相机RTSP地址格式为：“rtsp://用户名：密码@相机IP地址/media/video1”。 Web浏览器登录 线缆连接 1. 接入线缆，观察STAT指示灯是否正常亮起。 2. 将网线一端连接至LAN口上，将另一端连接至电脑网口上，查看网口指示灯是否正常闪烁。 配置电脑网口 具体操作流程为： 1. 打开windows设置，进入以太网，打开网络和共享中心。 2. 点击以太网。 3. 配置IP地址为192.168.150.2，子网掩码为255.255.255.0。 设置完上述操作，用户即可在谷歌浏览器中输入192.168.150.1，便可开始使用Ibox一体机。

本章节主要介绍翼MapReduce的配置Syslog北向参数。 操作场景 该任务指导用户以Syslog方式将MRS Manager的告警事件上报到指定的监控运维系统中。 须知：Syslog协议未做加密，传输数据容易被窃取，存在安全风险。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下，单击“Syslog配置”。 “Syslog服务”的开关默认为关闭，单击启用Syslog服务。 2. 设置如下表所示的对接参数。 详见下表：对接参数 参数区域 参数名称 参数说明 Syslog协议 服务IP 设置对接服务器IP地址。 服务端口 设置对接端口。 协议 设置协议类型，取值范围： l “TCP” l “UDP” 安全级别 设置上报消息的严重程度，取值范围： l “Informational” l “Emergency” l “Alert” l “Critical” l “Error” l “Warning” l “Notice” l “Debug” Facility 设置产生日志的模块。 标识符 设置产品标识，默认为“MRS Manager”。 报告信息 报文格式 设置告警报告的消息格式，具体要求请参考界面帮助。 报告告警类型 设置需要上报的告警类型。 l “故障”表示Manager产生告警时会上报Syslog告警消息。 l “清除”表示清除Manager告警时会上报Syslog告警消息。 l “事件”表示Manager产生事件时会上报Syslog告警消息。 报告告警级别 设置需要上报的告警级别。支持“提示”、“一般”、“严重”和 “致命”。 未恢复告警上报设置 周期上报未恢复告警 设置是否按指定周期上报未清除的告警。“周期上报未恢复告警”的开关默认为关闭，单击启用此功能。 间隔时间（分钟） 设置周期上报未恢复告警到远程Syslog服务的时间间隔，当“周期上报未恢复告警”开关打开时启用。单位为分钟，默认值为“15”，取值范围为5分钟到一天（1440分钟）。 心跳设置 上报心跳 设置是否开启周期上报Syslog心跳消息。“周期上报未恢复告警”的开关默认为关闭，单击启用此功能。 心跳周期（分钟） 设置周期上报心跳的时间间隔，当“上报心跳”开关打开时启用。单位为分钟，默认值为“15”，取值范围为160。 心跳报文 设置心跳上报的内容，当“上报心跳”开关打开时启用，不能为空。支持数字、字母、下划线、竖线、冒号、空格、英文逗号和句号等字符，长度小于等于256。 说明：设置周期上报心跳报文后，在某些集群容错自动恢复的场景下（例如主备管理节点倒换）可能会出现报文上报中断的现象，此时等待自动恢复即可。 3. 单击“确定”，设置完成。

本章主要介绍翼MapReduce的更新集群密钥功能。 操作场景 在安装集群时，系统将自动生成加密密钥key值以对集群的部分安全信息（例如所有数据库用户密码、密钥文件访问密码等）进行加密存储。在集群安装成功后，如果原始密钥不慎意外泄露或者需要使用新的密钥，系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群密钥后，集群中新增加一个随机生成的新密钥，用于加密解密新保存的数据。旧的密钥不会删除，用于解密旧的加密数据。在修改安全信息后，例如修改数据库用户密码，新密码将使用新的密钥加密。 更新集群密钥需要停止集群，集群停止时无法访问。 前提条件 已确认主备管理节点IP。请参见登录管理节点。 停止依赖集群运行的上层业务应用。 操作步骤 1.登录FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 停止”，输入当前登录的用户密码确认身份。 在确认停止的对话框单击“确定”，等待界面提示停止成功。 3.以omm用户登录主管理节点。 4.执行以下命令，防止超时退出。 TMOUT0 说明 执行完本章节操作后，请及时恢复超时退出时间，执行命令 TMOUT 超时退出时间 。例如： TMOUT600 ，表示用户无操作600秒后超时退出。 5.执行以下命令，切换目录。 cd ${BIGDATAHOME}/omserver/om/tools 6.执行以下命令，更新集群密钥。 sh updateRootKey.sh 根据界面提示，输入 y ： The root key update is a critical operation. Do you want to continue?(y/n): 界面提示以下信息表示更新密钥成功： Step 41: The key save path is obtained successfully. ... Step 44: The root key is sent successfully. 7.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 启动”。 在弹出窗口中单击“确定”，等待界面提示启动成功。

本章主要介绍翼MapReduce的备份HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。

本章节主要介绍翼MapReduce的隔离主机操作。 操作场景 某个主机出现异常或故障，无法提供服务或影响集群整体性能时，可以临时将主机从集群可用节点排除，使客户端访问其他可用的正常节点。 说明 隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止，且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后部分服务的实例不再工作，服务的配置状态可能过期。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 待操作节点的SSH端口需保持默认（22），否则将导致本章节任务操作失败。 操作步骤 1. 登录FusionInsight Manager。 2. 单击“主机”。 3. 勾选待隔离主机前的复选框。 4. 在“更多”选择“隔离”。 在弹出窗口中，输入当前登录的用户密码确认管理员身份，单击“确定”。 5. 在确认隔离的对话框中勾选“我确定隔离所选主机，接受可能出现的服务故障等后果。”单击“确定”。 界面提示“操作成功。”，单击“完成”，主机成功隔离，“运行状态”显示为“已隔离”。 6. 以root用户登录到被隔离主机上，执行pkill 9 u omm命令终止节点上的omm用户的进程，然后执行ps ef grep 'container' grep '${BIGDATAHOME}' awk '{print $2}' xargs I '{}' kill 9 '{}'命令查找并终止container的进程。 7. 管理员已排除主机的异常或故障后，需要将主机隔离状态取消才能继续使用该主机。 在“主机”界面勾选已隔离的主机，选择“更多 > 取消隔离”。 说明 取消隔离后，主机上所有角色实例默认不启动。若需要启动主机上角色实例，可以在“主机”页面勾选目标主机，然后选择“更多 > 启动所有实例”。

本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后，需要为Yarn任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。 该任务指导系统管理员通过FusionInsight Manager配置队列策略。使用Superior调度器的租户队列，可以配置使用不同资源池的资源。 前提条件 已登录FusionInsight Manager。 已添加资源池。 任务队列不与其他队列相关联资源池，除了默认资源池。 操作步骤 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“资源分布策略”页签。 4. “集群”参数选择待操作的集群名称，然后在“资源池”选择指定的资源池。 5. 在“资源分配”列表指定队列的“操作”列，单击“修改”。 6. 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。 “权重”：表示租户能获得的资源。其初始值与最小资源百分比值一致。 “最小资源”：表示租户能获得的最少资源。 “最大资源”：表示租户能获得的最多资源。 “预留资源”：表示保留给租户自身队列，且不能借用给其他租户队列的资源。 7. 在“修改资源分配”窗口的“用户策略”页签设置用户策略。 说明 defaultUser(builtin)表示如果一个用户未配置策略，则默认使用defaultUser所指定的策略。该策略不可删除。 单击“添加用户策略”添加用户策略。 − “用户名”：表示用户的名称。 − “权重”：表示用户能获得的资源。 − “最多核数”：表示用户最多可以使用的虚拟核数。 − “最大内存”：表示用户最大可以使用的内存。 单击“操作”列的“修改”修改现有用户策略。 单击“操作”列的“清除”删除现有用户策略。 8. 单击“确定”保存配置。

使用说明 目前图片处理服务暂不支持客户自助开启，如需使用，请通过提交工单向天翼云客服申请。申请时，请说明具体希望达成如下哪种效果：自适应WEBP、自动瘦身、URL中携带特定参数实现图片处理。 自适应WEBP 自适应WEBP是图片格式转换的一种，开启自适应WEBP功能后，用户请求URL中无需携带相关参数，全站加速节点可将Accept请求头值中包括image/webp的图片格式自动转换为WEBP，以获得更好的压缩率及图像质量。 注意 开启自适应WEBP功能后，原始图片缓存会失效，短时间内文件命中率会下降，一段时间后会自行恢复，请避免在业务高峰期开启该功能。 自动瘦身 自动瘦身是图片质量转换的一种，开启自动瘦身后，用户请求URL中无需携带相关参数，全站加速节点可按照预先设定的相对质量比例自动完成图片质量转换，以对图片进行压缩，节省用户访问流量。 注意 如需配置自动瘦身功能，请在工单中注明自动瘦身比例。 URL中携带特定参数实现图片处理 开通图片处理功能后，用户可通过在URL中携带特定参数实现灵活的图片处理能力。 图片处理请求URL格式为： 具体字段含义如下： 参数 说明 www.ctyun.cn 在天翼云加速的全站加速域名。 a.jpg 需要处理的图片名称。 action 图片处理的固定参数名。 key1:value1 图片处理的具体参数，例如：format:bmp，则表示对该图片进行格式转换动作，将a.jpg转换为bmp格式。 key2:value2 图片处理的具体参数2，支持对同个图片做多个处理动作。 1. 存在多个处理参数时，getinfo优先级最高，如有该参数，其他参数忽略无效。 2. 存在多个处理参数，且不包括getinfo时，format格式转换参数将作为最后动作来处理，其他处理参数将按参数携带的先后顺序依次进行处理。 示例： 处理效果为：对a.jpg先将其绝对质量转换为80，再对其进行居中宽400高200的裁剪，最后将其转换为bmp图片格式。 目前支持的图片处理操作及对应参数如下： 图片处理功能 处理参数 说明 格式转换 format 对图片格式进行转换。 质量转换 quality 对图片质量进行转换，支持绝对质量转换和相对质量转换。 图片裁剪 cut 对图片进行指定位置的裁剪。 图片缩放 resize 对图片进行缩放。 图片旋转 rotate 对图片进行旋转。 图片色彩 brightnesscontrast 对图片的亮度和对比度进行调整。 添加水印 textwatermarks、imagewatermarks 添加文字水印或图片水印。 图片置灰 grayscale 对图片进行置灰。 渐进式加载 progressive 将图片转换为渐进式加载格式。 获取图片信息 getinfo 获取图片信息，包括图片的大小、宽、高、图片格式、图片质量和图片方向信息。

本节介绍应用市场常见问题。 为什么要开启应用管控? 为避免员工操作不当或违规使用不安全的应用，给企业带来不必要的麻烦。 帮助企业高效有序的管理员工使用桌面的行为。为员工提供一个便捷安全的办公环境。 应用市场客户端中没有我想要的应用怎么办? 可联系所在企业的管理员，在管理台上架并推送各类应用。如果为常用应用，也可以向平台推荐，我们将视情况上架。 使用白名单规则还是黑名单规则? 如企业没有严格的应用使用规定，建议使用黑名单规则进行管控，而白名单规则的管控相对更为严格。 运行某些应用一直被拦截，怎么办? 若为安装包、请点击“申请上架”或联系管理员上架到应用市场后再安装运行，若是普通程序可批量提交电请放行。若是同一插件程序反复被拦截，但不影响其他功能使用的，建议设置“不提醒”。 放行申请同意了，为什么程序还是不能运行? 审批流程通知与放行生效有可能因为网络等特殊原因产生延迟，请等待几分钟后再试即可。如遇仍无法运行的情况，请联系租户管理员或运维人员处理。 使用黑名单规则，被拦截的程序是否可以申请放行? 不可以，目前黑名单规则内的程序均为管理员设置禁止运行的，故不提供申请入口。 开启审批流程后，不想使用了，怎么办? 对于已开启的审批流程，可在相应设置策略中设为不使用审批流程即可，如“应用管控”“管控策略”，选择不使用审批流程。

本节主要介绍云数据库GeminiDB的权限管理。 如果您需要对购买的云数据库 GeminiDB资源，给企业中的员工设置不同的访问权限，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进行精细的权限管理。该服务提供用户身份认证、权限分配、访问控制等功能，可以帮助您安全的控制天翼云资源的访问。 通过IAM，您可以在天翼云账号中给员工创建IAM用户，并授权控制他们对天翼云资源的访问范围。例如您的员工中有负责软件开发的人员，您希望他们拥有云数据库 GeminiDB的使用权限，但是不希望他们拥有删除云数据库 GeminiDB等高危操作的权限，那么您可以使用IAM为开发人员创建用户，通过授予仅能使用云数据库 GeminiDB，但是不允许删除云数据库 GeminiDB的权限策略，控制他们对云数据库 GeminiDB资源的使用范围。 如果天翼云账号已经能满足您的要求，不需要创建独立的IAM用户进行权限管理，您可以跳过本章节，不影响您使用云数据库 GeminiDB服务的其它功能。 IAM是天翼云提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。 关于IAM的详细介绍，请参见《IAM产品介绍》。 云数据库 GeminiDB权限 默认情况下，管理员创建的IAM用户没有任何权限，需要将其加入用户组，并给用户组授予策略或角色，才能使得用户组中的用户获得对应的权限，这一过程称为授权。授权后，用户就可以基于被授予的权限对云服务进行操作。 云数据库 GeminiDB部署时通过物理区域划分，为项目级服务。授权时，“作用范围”需要选择“区域级项目”，然后在指定区域（如广州4）对应的项目（cngdgz1）中设置相关权限，并且该权限仅对此项目生效；如果在“所有项目”中设置权限，则该权限在所有区域项目中都生效。访问云数据库 GeminiDB时，需要先切换至授权区域。 根据授权精细程度分为角色和策略。 角色：IAM最初提供的一种根据用户的工作职能定义权限的粗粒度授权机制。该机制以服务为粒度，提供有限的服务相关角色用于授权。由于天翼云各服务之间存在业务依赖关系，因此给用户授予角色时，可能需要一并授予依赖的其他角色，才能正确完成业务。角色并不能满足用户对精细化授权的要求，无法完全达到企业对权限最小化的安全管控要求。 策略：IAM最新提供的一种细粒度授权的能力，可以精确到具体服务的操作、资源以及请求条件等。基于策略的授权是一种更加灵活的授权方式，能够满足企业对权限最小化的安全管控要求。例如：针对ECS服务，管理员能够控制IAM用户仅能对某一类云主机资源进行指定的管理操作。 如表1所示，包括了云数据库 GeminiDB的所有系统权限。 表1 云数据库 GeminiDB系统权限 策略名称/系统角色 描述 类别 依赖关系 GeminiDB FullAccess 云数据库 GeminiDB服务所有权限。 系统策略 创建包周期实例需要配置CBC权限： bss:balance:view bss:balance:update bss:order:view bss:order:pay bss:order:update bss:renewal:view bss:renewal:update 退订包周期实例需要配置CBC权限： bss:unsubscribe:update GeminiDB ReadOnlyAccess 云数据库 GeminiDB服务只读权限。 系统策略 无 表2列出了云数据库 GeminiDB常用操作与系统权限的授权关系，您可以参照该表选择合适的系统权限。 表2 常用操作与系统权限的关系 操作 GeminiDB FullAccess GeminiDB ReadOnlyAccess 创建实例 √ x 查询实例列表 √ √ 查询实例详情 √ √ 查询任务列表 √ √ 删除实例 √ x 重启实例 √ x 重置密码 √ x 变更实例安全组 √ x 修改数据库端口 √ x 绑定/解绑公网IP √ x 磁盘扩容 √ x 规格变更 √ x 节点扩容 √ x 节点缩容 √ x 修改备份策略 √ x 重命名实例 √ x 创建手动备份 √ x 查询备份列表 √ √ 恢复到新实例 √ x 删除备份 √ x 创建参数模板 √ x 查询参数模板列表 √ √ 修改参数模板 √ x 删除参数模板 √ x 查询企业项目配额管理列表 √ √ 修改企业项目配额 √ x 切换SSL开关 √ x 停止备份 √ x 表3列出了云数据库 GeminiDB常用操作以及对应的授权项，您可以参照该表自定义配置权限策略。 表3 常用操作与对应的授权项 操作 授权项 授权范围 备注 实例创建页 vpc:vpcs:list vpc:subnets:get vpc:securityGroups:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 创建页需要查询对应的VPC、子网、安全组。 创建实例 nosql:instance:create vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:ports:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 界面使用默认VPC、子网、安全组需对应配置vpc::create权限， 创建加密实例需要在项目上配置KMS Administrator权限。 查询实例列表 nosql:instance:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询实例详情 nosql:instance:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 如果实例详情界面需要展示VPC、子网、安全组，请增加vpc::get和vpc::list授权项。 查询任务列表 nosql:task:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除实例 nosql:instance:delete 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除实例需要同时删除数据侧IP地址。 重启实例 nosql:instance:restart 支持： IAM项目(Project) 企业项目(Enterprise Project) 重置密码 nosql:instance:modifyPasswd 支持： IAM项目(Project) 企业项目(Enterprise Project) 变更实例安全组 nosql:instance:modifySecurityGroup 支持： IAM项目(Project) 企业项目(Enterprise Project) 修改数据库端口 nosql:instance:modifyPort 支持： IAM项目(Project) 企业项目(Enterprise Project) 绑定公网IP nosql:instance:bindPublicIp 支持： IAM项目(Project) 绑定公网IP时，需要查询已经创建好的公网IP。 不支持企业项目 不支持细粒度 解绑公网IP nosql:instance:unbindPublicIp 支持： IAM项目(Project) 不支持企业项目 不支持细粒度 磁盘扩容 nosql:instance:modifyStorageSize 支持： IAM项目(Project) 企业项目(Enterprise Project) 规格变更 nosql:instance:modifySpecification 支持： IAM项目(Project) 企业项目(Enterprise Project) 节点扩容 nosql:instance:extendNode vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:ports:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 节点缩容 nosql:instance:reduceNode 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除集群节点。 修改备份策略 nosql:instance:modifyBackupPolicy 支持： IAM项目(Project) 企业项目(Enterprise Project) 重命名实例 nosql:instance:rename 支持： IAM项目(Project) 企业项目(Enterprise Project) 创建手动备份 nosql:backup:create 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询备份列表 nosql:backup:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 下载备份文件 nosql:backup:download 支持： IAM项目(Project) 企业项目(Enterprise Project) 恢复到新实例 nosql:backup:restoreToNewInstance vpc:vpcs:list vpc:vpcs:get vpc:subnets:get vpc:securityGroups:get vpc:ports:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 加密实例需要在项目上配置KMS Administrator权限。 备份恢复到已有实例 nosql:backup:restoreToExistInstance 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除备份 nosql:backup:delete 支持： IAM项目(Project) 企业项目(Enterprise Project) 创建参数模板 nosql:param:create 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询参数模板列表 nosql:param:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 修改参数模板中的参数值 nosql:param:modify 支持： IAM项目(Project) 企业项目(Enterprise Project) 变更实例下节点的参数配置 nosql:instance:modifyParameter 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除参数模板 nosql:param:delete 支持： IAM项目(Project) 企业项目(Enterprise Project) 标签操作 nosql:instance:tag tms:resourceTags:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 标签列表 nosql:tag:list tms:resourceTags:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询企业项目配额管理列表 nosql:quota:list 支持： IAM项目(Project) 企业项目(Enterprise Project) 修改企业项目配额 nosql:quota:modify 支持： IAM项目(Project) 企业项目(Enterprise Project) 切换审计日志开关 nosql:instance:switchAuditLog 支持： IAM项目(Project) 企业项目(Enterprise Project) 下载审计日志 nosql:instance:downloadAuditLog 支持： IAM项目(Project) 企业项目(Enterprise Project) 删除审计日志 nosql:instance:deleteAuditLog 支持： IAM项目(Project) 企业项目(Enterprise Project) 更新慢日志明文开关 nosql:instance:modifySlowLogPlaintextSwitch 支持： IAM项目(Project) 企业项目(Enterprise Project) 切换SSL开关 nosql:instance:switchSSL 支持： IAM项目(Project) 企业项目(Enterprise Project) 修改内网IP nosql:instance:modifyPrivateIp 支持： IAM项目(Project) 企业项目(Enterprise Project) 切换主备节点 nosql:instance:switchover 支持： IAM项目(Project) 企业项目(Enterprise Project) 数据库补丁升级 nosql:instance:upgradeDatabaseVersion 支持： IAM项目(Project) 企业项目(Enterprise Project) 停止备份 nosql:backup:stop 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询日志配置组 lts:groups:get 支持： IAM项目(Project) 企业项目(Enterprise Project) 查询日志配置流 lts:topics:get 支持： IAM项目(Project) 企业项目(Enterprise Project)

本章节主要介绍翼MapReduce 的配置监控与告警阈值功能。 操作场景 配置监控与告警阈值用于关注各指标的健康情况。勾选“发送告警”后，当监控数据达到告警阈值，系统将会触发一条告警信息，将在“告警管理”中出现此告警信息。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下，单击“阈值配置”，依据规划选择监控指标并设置其基线。 2. 单击某一指标例如“CPU使用率”，单击“添加规则”。 3. 在“配置”对话框中填写监控指标规则参数。 详见下表：监控指标规则参数 参数名 参数解释 参数值 规则名称 规则名称 CPUMAX（举例） 参考日期 查看某指标的历史参考数据 2014/11/06（举例） 阈值类型 选择某指标的最大值或最小值，类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警，类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 l 最大值 l 最小值 告警级别 告警级别 l 致命 l 严重 l 一般 l 提示 时间范围 设置规则生效时监控指标的具体时间段 从00:00到23:59（举例） 阈值 设置规则监控指标的阈值 设置数值80（举例） 日期 设置规则生效的日期类型 l 工作日 l 周末 l 其它 添加日期 日期选择“其他”时该参数生效。可选择多个日期。 11/30（举例） 4. 单击“确定”。界面右上角弹出提示“模板保存成功。”。 “发送告警”默认已勾选。Manager会检查监控指标数值是否满足阈值条件，若连续检查且不满足的次数等于“平滑次数”设置的值则发送告警，支持自定义。“检查周期(秒)”表示Manager检查监控指标的时间间隔。 5. 在新添加规则所在的行，单击“操作”下的“应用”，界面右上角弹出提示规则xx应用成功，完成添加。单击“操作”下的“取消应用”，界面右上角弹出提示规则xx取消成功。

本章节主要介绍翼MapReduce的服务详情操作。 总览 登录FusionInsight Manager以后，选择“集群 > 待操作集群的名称 > 服务”，在服务列表单击指定的服务名称打开服务详情页面，包含“概览”、“实例”、“实例组”和“配置”等页面，以及功能区。部分服务还支持显示自定义的管理工具页面，具体支持列表如下表所示。 自定义管理工具名称一览表 工具名称 对应服务 说明 Flume配置工具 Flume 用于为Flume的服务端和客户端配置采集参数。 Flume客户端管理工具 Flume 查看Flume客户端监控信息。 Kafka Topic监控工具 Kafka 用于为Kafka的Topic提供监控与管理。 其中“概览”为默认页，包含基本信息、角色列表、依赖关系表和监控图表等，右上角可对服务进行管理，基本管理如启动、停止、滚动重启、同步配置请参考上表，其他服务管理操作如下表所示： 服务管理操作 操作入口 说明 “更多 > 健康检查” 为当前服务进行健康检查，健康检查可以包含三方面检查项：各检查对象的“健康状态”、相关的告警和自定义的监控指标，检查结果并不能等同于界面上显示的“运行状态”。健康检查的结果可直接在检查列表左上角单击“导出报告”，选择导出结果。如果发现问题，可以单击“查看帮助”。 “更多 > 下载客户端” 为用户下载默认的仅包含具体服务的客户端，通过客户端执行管理操作、运行业务或进行二次开发，具体可参考下载客户端。 “更多 > 修改服务名称” 修改当前服务名称。 “更多 > 执行角色名称倒换” 具体请参考执行角色实例主备倒换。 “更多 > 进入维护模式/退出维护模式” 配置服务进入/退出维护模式。 “配置 > 导入/导出” 在迁移服务到新集群场景或者重新部署相同服务的场景下，为具体服务的所有配置数据做导入或者导出操作，实现配置结果的快速复制。

本章主要介绍翼MapReduce的恢复HDFS业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HDFS进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录（例如“/tmp/logs”、“/tmp/archived”、“/tmp/hadoopyarn/staging”），不能进行HDFS恢复操作，否则进行恢复的Distcp任务会由于文件丢失而导致恢复失败。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HDFS的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HDFS备份文件保存路径。 停止HDFS的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节主要介绍翼MapReduce的管理租户目录操作。 操作场景 管理员通过FusionInsight Manager管理指定租户使用的HDFS存储目录，能根据业务需求对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加具有HDFS存储资源的租户。 查看租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS存储”表格。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额 ”列表示租户目录的存储空间大小。 添加租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击需要修改HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，单击“添加目录”。 “父目录”，表示当前租户对应父租户的存储目录。 说明 当前租户不是子租户则不显示此参数。 “路径”，填写租户目录的路径。 说明 当前租户不是子租户则新路径将在HDFS的根目录下创建。 “文件目录数上限”填写文件和目录数量配额。 文件数阈值配置（%），只有设置了“文件目录数上限”才会生效。表示当已使用的文件数超过了设置的“文件目录数上限”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 当前已使用的文件数的数据采集周期为1个小时，因此超过文件数阈值的告警上报会存在延迟。 “存储空间配额”，填写租户目录的存储空间大小。 存储空间阈值配置（%），表示已使用存储空间超过了设置的“存储空间配额”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 已使用的存储空间的数据采集周期为1个小时，因此超过存储空间阈值的告警上报会存在延迟。 5. 单击“确定”完成租户目录添加。

本章节主要介绍翼MapReduce的在线检索日志操作。 操作场景 FusionInsight Manager支持在线检索并显示组件的日志内容，用于问题定位等其他日志查看场景。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“运维 > 日志 > 在线检索”。 3. 根据所需查询日志分别填写下表各参数，用户可以根据需要选择所需查阅日志时长，缺省时间区间包括：半小时、1小时、2小时、6小时、12小时、1天、1周、1月，也可以单击自定义“开始时间”和“结束时间”： 日志检索参数 参数名 说明 检索内容 检索的关键字或正则表达式。 服务 选择所需查询日志的服务或模块。 文件 当且仅当选择服务中一个角色时，支持选择指定日志文件进行搜索。 最低日志级别 选择所需查询日志的最低级别，选择某一级别后会显示从本级别到更高级别的日志。级别从低到高依次为：TRACE < DEBUG < INFO < WARN < ERROR < FATAL 主机范围 单击可勾选所需主机。 请输入所需查询日志的节点主机名或管理平面的IP地址。 各IP地址间用“,”隔开，例如：192.168.10.10,192.168.10.11。 如果IP地址连续，用“”连接。例如：192.168.10.[1020]。 如果IP地址分段连续，连续时用“”连接，各IP地址段间用“,”隔开，例如：192.168.10.[1020,3040]。 说明 如不指定，默认选择所有主机。 一次性输入最多10个表达式。 所有表达式一次性最多匹配2000个主机。 高级配置 最大数量：一次性显示的最大日志条数，如果检索到的日志数量超过设定值，时间较早的将被忽略。不配表示不限制。 检索超时：用于限制每个节点上的最大检索时间，超时后会中止搜索，已经搜索到的结果仍会显示。 4. 单击“检索”开始搜索，结果包含字段如下表所示。 检索结果 参数名 说明 时间 该行日志产生的具体时间点。 来源 产生日志的集群。 主机名称 记录该行日志的日志文件所在节点的主机名。 位置 该行日志所在的日志文件的具体路径。单击位置信息可进入在线日志浏览页面。默认显示该日志所在行前后各100条日志，可单击页首或页尾的“更多”显示更多日志信息。单击“下载”可以下载该日志文件到本地。 行号 该行日志在日志文件中所在的行数。 级别 该行日志的级别。 日志 日志的具体内容。 说明 在检索过程中可单击“停止”强制停止当前检索进度，并在列表中显示已检索出的结果。 5. 单击“过滤”，可以针对界面上已经显示的日志信息进行二次筛选，具体字段如下表所示。填写完毕后，单击“过滤”进行检索，单击“重置”可清空已填写信息。 过滤 参数名 说明 关键字 需要检索的日志关键字。 主机名称 需要检索的主机名。 位置 所需检索的日志文件路径。 开始时间 所需检索日志信息的开始时间。 结束时间 所需检索日志信息的结束时间。 来源集群 需要检索的集群。

本章节主要介绍翼MapReduce的配置SNMP北向参数。 操作场景 该任务指导用户采用SNMP协议把MRS Manager的告警、监控数据集成到网管平台。 前提条件 对接服务器对应的弹性云服务器需要和MRS集群的Master节点在相同的VPC，且Master节点可以访问对接服务器的IP地址和指定端口。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下，单击“SNMP配置”。 “SNMP服务”的开关默认为关闭，单击启用SNMP服务。 2. 设置如下表所示的对接参数。 详见下表：对接参数 参数名称 参数说明 版本 SNMP协议版本号，取值范围： l v2c：低版本，安全性较低 l v3：高版本，安全性比v2c高 推荐使用v3版本。 本地端口 本地端口，默认值“20000”，取值范围“1025”到“65535”。 读团体名 该参数仅在设置“版本”为v2c时存在，用于设置只读团体名。 写团体名 该参数仅在设置“版本”为v2c时存在，用于设置可写团体名。 安全用户名 该参数仅在设置“版本”为v3时存在，用于设置协议安全用户名。 认证协议 该参数仅在设置“版本”为v3时存在，用于设置认证协议，推荐选择SHA。 认证密码 该参数仅在设置“版本”为v3时存在，用于设置认证密钥。 确认认证密码 该参数仅在设置“版本”为v3时存在，用于确认认证密钥。 加密协议 该参数仅在设置“版本”为v3时存在，用于设置加密协议，推荐选择AES256。 加密密码 该参数仅在设置“版本”为v3时存在，用于设置加密密钥。 确认加密密码 该参数仅在设置“版本”为v3时存在，用于确认加密密钥。 “认证密码”和“加密密码”密码长度为8到16位，至少需要包含大写字母、小写字母、数字、特殊字符中的3种类型字符。两个密码不能相同。两个密码不可和安全用户名或安全用户名的逆序字符相同。 使用SNMP协议从安全方面考虑，需要定期修改“认证密码”和“加密密码”密码。 使用SNMP v3版本时，安全用户在5分钟之内连续鉴权失败5次将被锁定，5分钟后自动解锁。 3. 单击“Trap目标”下的“添加Trap目标”，在弹出的“添加Trap目标”对话框中填写以下参数： 目标标识：Trap目标标识，一般指接收Trap的网管或主机标识。长度限制1～255字节，一般由字母或数字组成。 目标IP：目标IP。可使用A、B、C类IP地址，要求可与管理节点的管理平面IP地址互通。 目标端口：接收Trap的端口，要求与对端保持一致，取值范围“0”～“65535”。 Trap团体名：该参数仅在设置Version为v2c时存在，用于设置主动上报团体名。 单击“确定”，设置完成，退出“添加Trap目标”对话框。 4. 单击“确定”，设置完成。

本章节主要介绍翼MapReduce组件Spark使用时的常见问题。 Spark 任务内存不足情况需要根据具体问题进行具体分析。 首先spark统一内存模型将内存分为offheap和heap两部分内存，每一个部分都可能发生内存不足的情况。 offheap内存不足的情况 offheap内存作用 为了进一步优化内存的使用以及提高 Shuffle 时排序的效率，Spark 引入了堆外（Offheap）内存，使之可以直接在工作节点的系统内存中开辟空间，存储经过序列化的二进制数据。 利用JDK Unsafe API（从 Spark 2.0 开始，在管理堆外的存储内存时不再基于 Tachyon，而是与堆外的执行内存一样，基于 JDK Unsafe API 实现），Spark 可以直接操作系统堆外内存，减少了不必要的内存开销，以及频繁的 GC 扫描和回收，提升了处理性能。堆外内存可以被精确地申请和释放，而且序列化的数据占用的空间可以被精确计算，所以相比堆内内存来说降低了管理的难度，也降低了误差。 offheap参数和动态扩展机制 Spark堆外内存的大小可以由spark.memory.offHeap.size控制，spark offheap空间只分为 execution 和 storage 1:1两部分，两部分可以动态扩展。 offheap不足 目前常用的offheap常见是 executor端，map task侧 shuffle时候，由于ShuffleExternalSorter占用内存过大，导致内存不足。 此外，在spark native场景中，spark将更多的使用 spark offheap内存取代heap内存，因此spark offheap在非shuffle场景下也会占用很多offheap内存。 如果存在offheap 内存不足警告，可以酌情添加spark.memory.offHeap.size 或者 降低shuffle 内存缓冲区大小。 heap内存不足的情况 spark将heap内存做如下分割 每一个部分超出使用上线都可能产生内存不足的情况。