本章节主要介绍翼MapReduce组件Spark使用的常见问题。 问题说明 使用Spark SQL 访问Hive 表的一个表分区，但是运行速度却很慢。 分析样例： select x,y from test where x1 （其中x是test表的 Partition 字段） 原因分析 按照spark 源码逻辑，在解析逻辑计划时候回去调用 getPartitionsByFilter方法 去hive中只提取 x1 分区信息。 但是由于一些原因，导致getPartitionsByFilter 的谓词下推失败，从而去全表扫描所有test的分区信息，并返回。 例如，我们x字段是String类型，但是我们的SQL中不是 where x’1’ ，而是where x1 ，这就导致了谓词下推失败。 出现hive分区表谓词下推失败的情况，我们可以做如下处理： 我们需要去检查sql中的写法是否正确。 可以关闭SQL逻辑计划解析过程中的谓词下推逻辑。 处理步骤 关闭SQL逻辑计划解析过程中的谓词下推逻辑，具体是Spark SQL默认开启基于分区统计信息的执行计划优化，相当于自动执行Analyze Table（默认开启的设置方法为spark.sql.statistics.fallBackToHdfstrue，可通过配置为false关闭）。 开启后，SQL执行过程中会扫描表的分区统计信息，并作为执行计划中的代价估算，例如对于代价评估中识别的小表，会广播小表放在内存中广播到各个节点上，进行join操作，大大节省shuffle时间。 此开关对于Join场景有较大的性能优化，但是会带来 获取分区表信息RPC请求 的增加。 在SparkSQL中设置以下参数后再运行： set spark.sql.statistics.fallBackToHdfsfalse; 或者在启动之前使用conf设置这个值为false： conf spark.sql.statistics.fallBackToHdfsfalse

本章节主要介绍翼MapReduce服务配置角色实例参数。 操作场景 用户可以根据实际业务场景，在MRS Manager中快速查看及修改角色实例默认的配置。支持导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 操作步骤 修改角色实例参数 1. 单击“服务管理”。 2. 单击服务列表中指定的服务名称。 3. 单击“实例”页签。 4. 单击角色实例列表中指定的角色实例名称。 5. 单击“实例配置”页签。 6. 在“参数类别”选择“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7. 在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 8. 单击“保存配置”，勾选“重启角色实例”并单击“确定”，重启角色实例。 界面提示“操作成功。”，单击“完成”，角色实例成功启动。 导出角色实例配置参数 1. 单击“服务管理”。 2. 选中某项服务。 3. 选中某角色或单击“实例”。 4. 选择指定主机上某角色实例。 5. 单击“实例配置”。 6. 单击“导出实例配置”，导出指定角色实例配置数据并选择一个位置保存。 导入角色实例配置参数 1. 单击“服务管理”。 2. 选中某项服务。 3. 选中某角色或单击“实例”。 4. 选择指定主机上某角色实例。 5. 单击“实例配置”。 6. 单击“导入实例配置”，导入指定角色实例配置数据。 7. 单击“保存配置”，勾选“重启角色实例。”并单击“确定”。 界面提示“操作成功。”，单击“完成”，角色实例成功启动。

本章节主要介绍翼MapReduce服务退服和入服务角色实例。 操作场景 某个Core或Task节点出现问题时，可能导致整个集群状态显示为“异常”。MRS集群支持将数据存储在不同Core节点，用户可以在MRS Manager指定角色实例退服，使退服的角色实例不再提供服务。在排除故障后，可以将已退服的角色实例入服。 支持退服、入服的角色实例包括： HDFS的DataNode角色实例 Yarn的NodeManager角色实例 HBase的RegionServer角色实例 Kafka的Broker角色实例 限制： 当DataNode数量少于或等于HDFS的副本数时，不能执行退服操作。例如HDFS副本数为3时，则系统中少于4个DataNode，将无法执行退服，Manager在执行退服操作时会等待30分钟后报错并退出执行。 Kafka Broker数量少于或等于副本数时，不能执行退服。例如Kafka副本数为2时，则系统中少于3个节点，将无法执行退服，Manager执行退服操作时会失败并退出执行。 已经退服的角色实例，必须执行入服操作启动该实例，才能重新使用。 操作步骤 在MRS Manager，单击“服务管理”。 1.单击服务列表中相应服务。 2.单击“实例”页签。 3.勾选指定角色实例名称前的复选框。 4.选择“更多 > 退服”或“入服”执行相应的操作。 说明 实例退服操作未完成时在其他浏览器窗口重启集群中相应服务，可能导致MRS Manager提示停止退服，实例的“操作状态”显示为“已启动”。实际上后台已将该实例退服，请重新执行退服操作同步状态。

本章主要介绍翼MapReduce的查看备份恢复任务功能。 操作场景 系统管理员可以通过FusionInsight Manager查看已创建的备份恢复任务，以及任务的运行情况。 前提条件 登录FusionInsight Manager，请参见登录管理系统。 操作步骤 1.在FusionInsight Manager，选择“运维 > 备份恢复”。 2.单击“备份管理”或“恢复管理”。 3.在任务列表中，查看“任务状态”与“任务进度”列获取上一次任务运行的结果。绿色表示运行成功，红色表示运行失败。 4.在任务列表指定任务的“操作”列，选择“更多 > 查询历史”或单击“查询历史”，打开备份恢复任务运行记录。 在弹出的窗口中，在指定一次执行记录前单击，打开此次任务运行的日志信息。 相关任务 启动备份恢复任务 在任务列表指定任务的“操作”列，选择“更多 > 即时备份”或单击“执行”，启动处于准备或失败状态的备份恢复任务。已成功执行过的恢复任务不能重新运行。 停止备份恢复任务 在任务列表指定任务的“操作”列，选择“更多 > 停止”或单击“停止”，停止处于运行状态的备份恢复任务。停止成功后，该任务的“任务状态”变为“已停止”。 删除备份恢复任务 在任务列表指定任务的“操作”列，选择“更多 > 删除”或单击“删除”，删除备份恢复任务。删除任务后备份的数据默认会保留。 挂起备份任务 在任务列表指定任务的“操作”列，选择“更多 > 挂起”，挂起备份任务。仅支持周期备份的任务，挂起后周期备份任务不再自动执行。挂起正在执行的备份任务时，该任务会停止运行。需要解锁时，选择“更多 > 重新执行”。

本章节主要介绍翼MapReduce的静态服务资源操作。 简介 集群分配给各个服务的资源是静态服务资源，这些服务包括Flume、HBase、HDFS和Yarn。每个服务的计算资源总量固定，不与其他服务共享，是静态的。租户通过独占或共享一个服务来获取这个服务运行时需要的资源。 静态服务池 静态服务池用来指定服务资源的配置。 在服务级别上，静态服务池对各服务可使用的资源进行统一管理： 限制服务使用的资源总量，支持配置Flume、HBase、HDFS和Yarn在部署节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离，可将集群中的服务与其他服务隔离，使一个服务上的负载对其他服务产生的影响有限。 调度机制 静态服务资源支持基于时间的动态调度机制，可以在不同时间段为服务配置不同的资源量，优化客户业务运行环境，提高集群的效率。 在一个复杂的集群环境中，多种服务共享使用集群资源，但是各服务的资源使用周期可能会有比较大的区别。 例如以下业务场景，对于一个银行客户： 在白天HBase查询服务的业务多。 在晚上查询服务的业务少而Hive分析服务业务多。 如果只给每个服务设置固定的资源可能会导致： 白天查询服务的资源不够用，分析服务的资源空闲。 晚上分析服务的资源不够用，查询服务的资源空闲。 集群资源利用率不高，而且服务能力也打了折扣。因此： 白天多配置HBase服务资源。 晚上多配置Hive服务资源。 这种基于时间的动态调度机制可以更高效的利用资源，运行任务。

本章节主要介绍翼MapReduce的切换调度器操作。 操作场景 新安装的MRS集群默认即使用了Superior调度器，如果是历史版本升级的集群，管理员可以根据以下指导，将Yarn的调度器从Capacity调度器一键式切换到Superior调度器。 前提条件 确保集群网络通畅，网络环境安全，Yarn服务状态正常。 在切换调度器期间，不允许做添加、删除、修改租户，以及启停服务等操作。 对系统的影响 调度器切换过程中，由于要重启Resource Manager，因此切换期间向Yarn提交任务会失败。 调度器切换过程中，正在Yarn上面执行的Job的Task任务会继续执行，但不会启动新的Task。 调度器切换完成后，在Yarn上面执行的任务有可能会失败进而导致业务中断。 调度器切换完成后，在租户管理中将使用Superior的相关参数。 调度器切换完成后，Capacity调度器中“资源容量”为“0”的租户队列在Superior调度器中分配不到资源，提交到该租户队列的任务会执行失败。建议在Capacity调度器中不要将租户队列的“资源容量”配置为“0”。 调度器切换完成后，在观察期内，不允许对资源池、Yarn节点标签（Label）和租户做添加、删除的操作。若添加或者删除了资源池、Yarn节点标签（Label）或租户，将不支持回退到Capacity调度器。 说明 切换调度器观察期建议为一周，如果对资源池、Yarn节点标签（Label）或租户做了添加、删除的操作，将视为观察期结束。 回退可能会丢失部分或者所有的Yarn任务信息。

本节介绍翼加密的管理员脱密工具下载以及使用的说明。 下载管理员脱密工具 管理员登录AI云电脑控制台，在文件加密模块的任意列表页面（密级管理、加密策略管理、加密桌面管理、脱密审计）右上角，点击“管理员脱密工具”进行下载。 使用管理员脱密工具 管理员脱密工具的脱密权限，与运行工具的AI云电脑的密级权限相关。 例如，将脱密工具安装到一个密级等级为3级的用户的加密AI云电脑内，则可以使用工具脱密密级等级为3级和3级以下的加密文件。 反之，如果将脱密工具安装到一个未加密的桌面，则无法脱密任何加密文件。 备注：建议管理员尽量在一个密级等级最高的用户的加密AI云电脑内，安装及使用此工具进行文件脱密。 使用工具脱密文件的步骤： 1.安装并运行“管理员脱密工具”； 2.添加需要脱密的文件，可点击“选取文件”添加；也可以直接拖入页面添加。单次添加的脱密文件个数和大小不做限制； 3.点击“选择目标路径”选择文件脱密后保存的路径； 4.点击“确认脱密”提交脱密操作。在执行脱密前，需要输入脱密UKey。脱密UKey在控制台文件加密模块的任意列表页面（密级管理、加密策略管理、加密桌面管理、脱密审计）右上角，点击“管理员脱密工具”即可看到； 注意：脱密UKey是一个随机生成的6位数密码。并且每1分钟会刷新重置。只有在脱密UKey刷新重置前及时输入才能完成脱密。 5.脱密完成后，弹窗结果弹窗。点击“前往所在位置”则打开脱密文件保存的目标路径。脱密文件在下一次编辑保存之前，将保持脱密状态，可直接明文外发。

如何使用 在配置窗口页以 YAML 格式填写 配置示例 下面是一个示例，在指定的 API 上开启了proxyrewrite 插件。 curl H 'XAPIKEY: 2571e288e8f4cd273cab342440068469' X PUT d ' { "methods": ["GET"], "uri": "/test/index.html", "plugins": { "proxyrewrite": { "uri": "/test/home.html", "scheme": "http", "host": "ctyun.com", "headers": { "XApiVersion": "v1", "XApiEngine": "apisix", "XApiuseless": "" } } }, "upstream": { "type": "roundrobin", "nodes": { "127.0.0.1:80": 1 } } }' 启用/停用 在配置页面设置生效开关 验证插件 发送请求，查看上游服务的 access.log，如果输出信息与配置一致： curl X GET 127.0.0.1 [2/Aug/2023:10:52:20 +0800] ctyun.com GET /test/home.html HTTP/1.1 200 38 curl/7.29.0 0.000 199 107 这就表示proxyrewrite 插件已经生效了。 重写proxycookie插件 描述 proxycookie插件是对响应头部setcookie字段中的path属性或者domain属性进行重写，校验的对象： 请求目标服务的返回头部SetCookie中Path属性。 请求目标服务的返回头部SetCookie中Domain属性。 注意 setcookie头部不区分大小写 作用范围 该插件只能用于路由级插件，因为每条路由响应头部setcookie字段中的path属性或者domain属性不同，要视具体情况而定。

本章节主要介绍翼MapReduce服务KrbServer健康检查指标项说明。 KerberosAdmin服务可用性检查 指标项名称： KerberosAdmin服务可用性 指标项含义 ：系统对KerberosAdmin服务状态进行检查，如果检查结果不正常，则KerberosAdmin服务不可用。 恢复指导： 如果该指标项检查结果不正常，原因可能是KerberosAdmin服务所在节点故障，或者SlapdServer服务不可用。操作人员进行KerberosAdmin服务恢复时，请尝试如下操作： 1. 检查KerberosAdmin服务所在节点是否故障。 2. 检查SlapdServer服务是否不可用。 KerberosServer服务可用性检查 指标项名称： KerberosServer服务可用性 指标项含义 ：系统对KerberosServer服务状态进行检查，如果检查结果不正常，则KerberosServer服务不可用。 恢复指导： 如果该指标项检查结果不正常，原因可能是KerberosServer服务所在节点故障，或者SlapdServer服务不可用。操作人员进行KerberosServer服务恢复时，请尝试如下操作： 1. 检查KerberosServer服务所在节点是否故障。 2. 检查SlapdServer服务是否不可用。 服务健康状态 指标项名称： 服务状态 指标项含义 ：系统对KrbServer服务状态进行检查，如果检查结果不正常，则KrbServer服务不可用。 恢复指导： 如果该指标项检查结果不正常，原因可能是KrbServer服务所在节点故障或者LdapServer服务不可用。详细操作请参见告警ALM25500处理。 检查告警 指标项名称： 告警信息 指标项含义 ：系统对KrbServer服务的告警信息进行检查。如果存在告警信息，则KrbServer服务可能存在异常。 恢复指导： 如果该指标项检查结果不正常，建议根据告警内容，查看对应的告警资料，并进行相应的处理。

本章节主要介绍翼MapReduce服务配置服务参数。 用户可以根据实际业务场景，在MRS Manager中快速查看和修改服务默认的配置，及导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时，不支持修改DBService服务的参数。 操作步骤 修改服务参数 1. 单击“服务管理”。 2. 单击服务列表中指定的服务名称。 3. 单击“服务配置”。 4. 在“参数类别”选择“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的根节点分别为服务名称和角色名称。 5. 在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 说明 如果需要批量修改服务某个角色多个实例的配置，可以使用主机组实现实例参数的批量配置。在“角色”选择角色名称，然后在“主机”打开“ ”。“主机组名”填写一个名称，“主机”列表中勾选要修改的主机并加入“已选择的主机”，单击“确定”添加主机组。添加的主机组可以在“主机”中选择，且仅在当前页面有效，刷新页面后将无法保存。 6. 单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。 界面提示“操作成功。”，单击“完成”，服务成功启动。 说明 更新YARN服务队列的配置且不重启服务时，选择“更多 > 刷新队列”更新队列使配置生效。

本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中，管理员可从逻辑上对所有Yarn的节点进行分区，使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池，并将未加入自定义资源池的主机加入此资源池，便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池，所有未加入用户自定义资源池的NodeManager属于此资源池。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 资源池”。 3. 单击“添加资源池”。 4. 设置资源池的属性。 “集群”：选择待添加资源池的集群名称。 “名称”：填写资源池的名称。长度为1~50个字符，可包含数字、字母或下划线（ ） ，且不能以下划线 （ ）开头。 “资源标签”：配置资源池的资源标签，包括数字、字母、下划线（ ）或减号（），长度为1~50个字符，且只能以数字或者字母开头。 “资源”：在界面左边可用主机列表中，勾选指定的主机，单击，将选中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 说明 根据业务需求，可以通过主机名称、CPU、内存、操作系统和平台类型，筛选需要选取的资源主机。 5. 单击“确定”保存。 完成资源池创建后，管理员可以在资源池的列表中查看资源池的名称、成员、类型。已加入自定义资源池的主机，不再是“default”资源池的成员。

本章节主要介绍翼MapReduce的添加资源池操作。 操作场景 在集群中，管理员可从逻辑上对所有Yarn的节点进行分区，使多个NodeManager形成一个Yarn资源池。每个NodeManager只能属于一个资源池。管理员通过FusionInsight Manager添加一个自定义的资源池，并将未加入自定义资源池的主机加入此资源池，便于指定的队列利用这些计算资源。 系统中默认包含了一个名为“default”的资源池，所有未加入用户自定义资源池的NodeManager属于此资源池。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 资源池”。 3. 单击“添加资源池”。 4. 设置资源池的属性。 “集群”：选择待添加资源池的集群名称。 “名称”：填写资源池的名称。长度为1~50个字符，可包含数字、字母或下划线（），且不能以下划线（）开头。 “资源标签”：配置资源池的资源标签，包括数字、字母、下划线（）或减号（），长度为1~50个字符，且只能以数字或者字母开头。 “资源”：在界面左边可用主机列表中，勾选指定的主机，单击，将选中的主机加入已选主机列表。只支持选择本集群中的主机。资源池中的主机列表可以为空。 说明 根据业务需求，可以通过主机名称、CPU、内存、操作系统和平台类型，筛选需要选取的资源主机。 5. 单击“确定”保存。 完成资源池创建后，管理员可以在资源池的列表中查看资源池的名称、成员、类型。已加入自定义资源池的主机，不再是“default”资源池的成员。

本章节主要介绍翼MapReduce的查看主机概览操作。 总览 登录FusionInsight Manager以后，单击“主机”，在主机列表单击指定的主机名称，可以访问主机详情页面，主要包含基本信息区、磁盘状态区、角色列表区和监控图表等。 基本信息区 主机详情页面的基本信息包含该主机的各个关键信息，例如管理IP地址、业务IP地址、主机类型、机架、防火墙、CPU核数、操作系统等信息。 磁盘状态区 磁盘状态区包含了该主机所有为集群配置的磁盘分区，并显示每个磁盘分区的使用情况。 实例列表区 实例列表区显示了该主机所有安装的角色实例，并显示每个角色实例的状态，单击角色实例名称后的日志文件，可在线查看该实例对应日志文件内容。 告警和事件的历史记录 告警和事件的历史记录区显示了当前主机上报的关键告警与事件记录，系统最多可显示20条历史记录。 图表 主机详情页面的右侧展示图表区，包含该主机的各个关键监控指标报表。 用户可以单击右上角的“ > 定制”，自定义在图表区展示的监控报表。选择时间区间后，单击“ > 导出”，可以导出指定时间区间内的详细监控指标数据。 单击监控指标标题后的可以打开监控指标的解释说明。 单击主机的“图表”页签，可直接查看该主机的全量监控图表信息。

版本 发布日期 说明 4.0 2026年03月24日 1. 支持免费版本。 2. 新增调整HBlock服务占用服务器内存参数功能。 3. 上云卷新增挂起卷功能。 4. 支持通过API设置本地卷的扩展属性。 5. 增加设置鉴权方式。 3.10 2025年09月25日 1. 支持target访问权限，实现客户端和target端权限管理。 2. 支持备份，基于快照生成独立于源卷的数据备份文件。 3. 支持设置QoS规则，从带宽和IOPS维度管控流量。 3.9 2025年04月21日 1. 支持快照功能，实现数据的快速备份与恢复。 2. 支持克隆卷功能，用于数据复制、测试验证等场景。 3.8 2025年02月14日 1. API签名方法变更，提升安全性。 2. 存储卷和缓存卷支持将数据上传至兼容 S3 的对象存储。 3. 支持设置基础服务的数据存储目录。 4. Target增加回收策略，支持无卷关联后自动删除。 5. 针对智算、虚拟化以及高可用敏感度等场景，支持一键调整系统参数。 6. 支持设置折叠副本数，允许数据副本/分片放在同一个故障域中。 3.7 2024年08月08日 1. 支持设置集群拓扑。 2. 支持创建和管理多存储池。 3. 支持机房和机架级别故障域。 4. 支持设置卷的高速缓存池。 5. 支持基础服务迁移。 3.6 2024年06月03日 1. 支持存储卷和缓存卷，将数据从后端上传到天翼云对象存储（经典版）I型。 2. 硬件及HBlock监控数据支持对接到Prometheus。 3. 支持HBlock告警信息对接到智能运维平台。 4. 优化读写性能。 5. 增加对龙芯服务器的支持。 3.5 2024年03月04日 1. 支持服务器、数据目录级别的故障域，支持磁盘级别的数据服务。 2. 支持指定基础服务的安装节点。 3. 支持数据目录配额，设置HBlock可写入的数据量上限。 4. Target可被多个客户端发现并连接。 5. 设置卷的最小写入副本数，提高数据写入安全性。 6. 扩大纠删码EC N+M支持范围，满足N+M<128。 3.4 2023年07月12日 1. 卷连接支持一主多备，提高业务可用性。 2. 支持IPv6环境。 3. 控制台提供Dashboard一页式概览。 4. 支持通过命令行查询CHAP密码。 3.3 2022年12月23日 支持安全移除服务器。 3.2 2022年09月26日 1. 监控项增加，扩大覆盖范围。 2. 增加对告警、日志管理的支持。 3. 事件中增加对系统事件的支持。 3.1 2022年06月14日 1. 单机版支持添加多个数据目录。 2. 集群版支持创建Target时指定对应的服务器，支持Target迁移。 3. 支持用户事件的记录和查询。 3.0 2022年01月18日 1. 命令行变更为非交互式。 2. 支持WEB、API调用方式。 3. 卷操作：支持设置卷的高可用类型和卷的写策略。 2.1 2021年08月27日 1. 增加对ARM服务器的支持。 2. 软件许可证：查看许可证时，可以显示允许的容量。 3. 卷操作：支持对卷进行主备切换，即卷对应的Active Target和Standby Target切换。 2.0 2021年05月28日 1. 支持集群版部署。 2. 支持多副本和纠删码数据冗余。

磁盘对应的卷的WWID 5. 格式化iSCSI磁盘 注意 如果用户之前已经连接过此磁盘并完成了格式化，重新连接后无需再次进行磁盘格式化，直接挂载iSCSI磁盘即可。 plaintext mkfs.ext4 /dev/sdX 或 plaintext mkfs.xfs /dev/sdX 说明 常用的文件系统有ext4、XFS，具体格式化成哪种文件系统要视用户文件系统决定。 6. 挂载iSCSI磁盘 将iSCSI磁盘分区挂载到本地目录上，挂载之后可以写入数据。 plaintext mount /dev/sdX PATH PATH为磁盘路径 注意 如果用户需要断开连接或者删除磁盘，执行下列步骤： 1. 确保在卸载文件系统之前，没有进程正在使用该文件系统的文件夹。 2. 使用sync命令来确保所有挂起的写操作都已写入磁盘。 3. 使用umount命令来正常卸载文件系统，断开iSCSI连接。 plaintext umount DIRECTORYNAMEORPATH iscsiadm m node T iSCSITARGETIQN p SERVERIP u 示例 plaintext [root@client ~] sync [root@client ~] umount /mnt/disksda [root@client ~] iscsiadm m node T iqn.201208.cn.ctyunapi.oos:target1.1 p 192.168.0.32 u Logging out of session [sid: 1, target: iqn.201208.cn.ctyunapi.oos:target1.1, portal: 192.168.0.32,3260] Logout of [sid: 1, target: iqn.201208.cn.ctyunapi.oos:target1.1, portal: 192.168.0.32,3260] successful.

本章节主要介绍翼MapReduce的下载客户端操作。 操作场景 MRS集群提供了默认的客户端，用户可以通过客户端执行管理操作、运行业务或进行二次开发。使用客户端前需要下载客户端软件包。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 概览 > 更多 > 下载客户端”。 界面显示“下载集群客户端”对话框。 3. 在“选择客户端类型”选择一个类型。 “完整客户端”表示下载包中包含了脚本、编译文件和配置文件。 “仅配置文件”表示下载包仅包含客户端配置文件。 一般适用于应用开发任务。例如完整客户端已下载并安装后，管理员通过Manager界面修改了服务配置，开发人员需要更新客户端配置文件的场景。 说明 平台类型包括x8664和aarch64两种，可分别在x86和TaiShan节点上安装使用。默认情况下，下载的客户端平台类型和服务端保持一致。 4. 是否在集群的节点中生成客户端软件包文件？ 是，勾选“仅保存到如下路径”，单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsightClient/”。支持修改为其他目录且omm用户拥有目录的读、写与执行权限。如果路径中已存在客户端文件，会覆盖路径下已有的客户端文件。 等待文件生成后，使用omm用户或客户端安装用户将获取的下载包复制到其他目录，例如“/opt/Bigdata/client”。 否，单击“确定”，下载客户端文件至本地。 开始下载客户端软件包，并等待下载完成。 客户端下载成功后，参考安装客户端进行客户端的安装。

本章节主要介绍翼MapReduce的Capacity Scheduler模式下清除租户非关联队列操作。 操作场景 在Yarn Capacity Scheduler模式下，删除租户的时候，只是把租户队列的容量设置为0，并且把状态设为“STOPPED”，但是队列在Yarn的服务里面仍然残留。由于Yarn的机制，无法动态删除队列，管理员可以执行命令手动清除残留的队列。 对系统的影响 脚本运行过程中会重启controller服务，同步Yarn的配置，并重启主备ResourceManager实例。 重启controller服务时，无法登录和操作FusionInsight Manager。 重启主备ResourceManager实例后，Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 前提条件 已删除某个租户，但该租户对应的队列依然存在。 操作步骤 1. 确定该租户对应的队列依然存在。 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > Yarn”。通过“ResourceManager(主)”链接进入ResourceManager WebUI界面。 单击左侧“Scheduler”界面，可以查看租户对应的队列依然存在，且状态为“STOPPED”，“Configured Capacity”值为0。 2. 以omm用户登录主管理节点。 3. 执行以下目录，执行“cleanQueuesAndRestartRM.sh”脚本。 cd ${BIGDATAHOME}/omserver/om/sbin ./cleanQueuesAndRestartRM.sh c 集群ID 说明 “集群ID”为需执行操作集群ID号，可在FusionInsight Manager的“集群 > 待操作集群的名称 > 集群属性”中查看。 在脚本运行过程中，需输入yes及管理员密码。 Running the script will restart Controller and restart ResourceManager. Are you sure you want to continue connecting (yes/no)?yes Please input admin password: Begin to backup queues ... ... 4. 脚本运行成功后，在FusionInsight Manager界面，选择“集群 > 待操作集群名称 > 服务 > Yarn”。通过“ResourceManager(主)”链接进入ResourceManager WebUI界面。 5. 单击左侧“Scheduler”界面，确认被删除租户的队列已经清除。

本章节主要介绍翼MapReduce服务KrbServer健康检查指标项说明。 禁用操作 下表中描述了在集群操作与维护阶段，观察进行日常操作时应注意的禁用操作。 禁用操作 类别 操作风险 严禁删除ZooKeeper相关数据目录 ClickHouse/HDFS/Yarn/HBase/Hive等很多组件都依赖于ZooKeeper，在ZooKeeper中保存元数据信息。删除ZooKeeper中相关数据目录将会影响相关组件的正常运行。 严禁JDBCServer主备节点频繁倒换 频繁主备倒换将导致业务中断。 严禁删除Phoenix系统表或系统表数据(SYSTEM.CATALOG、SYSTEM.STATS、SYSTEM.SEQUENCE、SYSTEM. FUNCTION) 删除系统表将导致无法正常进行业务操作。 严禁手动修改Hive元数据库的数据（hivemeta数据库） 修改Hive元数据可能会导致Hive数据解析错误，Hive无法正常提供服务。 禁止对Hive的元数据表手动进行insert 和update操作 修改Hive元数据可能会导致Hive数据解析错误，Hive无法正常提供服务。 严禁修改Hive私有文件目录hdfs:///tmp/hivescratch的权限 修改该目录权限可能会导致Hive服务不可用。 严禁修改Kafka配置文件中broker.id 修改Kafka配置文件中broker.id将会导致该节点数据失效。 严禁修改节点主机名 主机名修改后会导致该主机上相关实例和上层组件无法正常提供服务，且无法修复。 禁止重装节点OS 该操作会导致MRS集群进入异常状态，影响MRS集群使用。 禁止使用私有镜像 该操作会导致MRS集群进入异常状态，影响MRS集群使用。 以下各表分别描述了各组件在操作与维护阶段，进行日常操作时应注意的高危操作。

本章节主要介绍翼MapReduce组件Spark的操作使用说明。 Sparkbeeline连接的目标可以是spark thrift server、也可以是kyuubi server。 我们以spark thrift server为例，提供链接流程如下： 1. 首先配置spark thrift相关配置。 1. Sparkenv.sh 中配置需要配置JAVAHOME、HADOOPHOME、HADOOPCLASSPATH、HADOOPCONFDIR等环境变量。 2. SPARKHOME/conf 路径下的hivesite.xml文件中，需要配置如下： hive.server2.transport.mode Set this to value: http hive.server2.thrift.http.port HTTP port number to listen on; default is 10001 如果hivesite.xml是软连接，且spark和hive混布，那么需要直接cp该文件到SPARKHOME/conf下面。 3. Sparkdefaults.conf中如果hadoop集群开启了Kerberos认证，那么需要配置spark.sql。 2. 启动spark thrift server。 SPARKHOME/sbin/startthriftserver.sh 3. 如果当前集群已启用Kerberos认证，执行以下命令认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 1. 首先klist kt ，获取keytab文件的principal，例如 klist kt user.keytab 获得 user/hostname@realm。 2. 然后kinit kt ，例如 kinit kt user.keytab user/hostname@realm。 3. Kinit认证完成登录后，可以klist l查看。 4. Beeline链接sparkthriftserver。 SPARKHOME/bin u ‘jdbc:hive2:// : / ;principaluser/hostname@realm?spark.yarn.queueroot.default’ n user 5. 执行如下命令查询所有表，返回结果中存在表test，即表示访问OBS成功。 show databases

本章节主要介绍翼MapReduce的集群管理操作。 总览 登录FusionInsight Manager，选择“集群 > 待操作集群的名称 > 概览”可以查看当前集群的主要状态信息。 在“概览”页面上可对当前集群进行基本管理操作，如启动、停止、滚动重启、同步配置等，具体如下表所示。 维护管理功能 操作入口 说明 “启动” 将集群中所有服务启动。 “停止” 将集群中所有服务停止。 “更多 > 重启” 将集群中所有服务重启。 “更多 > 滚动重启” 为集群中所有服务提供不中断业务的重启操作，具体可参考滚动重启集群。 “更多 > 同步配置” 为集群中所有服务启用新的配置参数。 “更多 > 重启配置过期的实例” 为集群中所有服务重启配置过期的实例，具体可参考管理配置过期。 “更多 > 健康检查” 为OMS、集群所有服务和所有节点进行健康检查，健康检查可以包含三方面检查项：各检查对象的运行状态、相关的告警和自定义的监控指标，检查结果并不能等同于界面上显示的“运行状态”。健康检查的结果可直接在检查列表左上角单击“导出报告”，选择导出结果。如果发现问题，可以单击“查看帮助”。 “ 更多 > 下载客户端” 为用户下载默认的客户端，具体可参考下载客户端。 “ 更多 > 导出安装模板” 将集群所有安装配置批量导出，例如集群认证模式、节点信息、服务配置等，可用于相同环境下集群重新安装的场景。 “更多 > 导出配置” 将集群所有服务的配置批量导出。 “更多 > 进入维护模式/退出维护模式” 配置集群进入/退出维护模式。 “更多 > 维护模式视图” 查看集群进入维护状态的服务或主机。

使用说明 目前图片处理服务暂不支持客户自助开启，如需使用，请通过提交工单向天翼云客服申请。申请时，请说明具体希望达成如下哪种效果：自适应WEBP、自动瘦身、URL中携带特定参数实现图片处理。 自适应WEBP 自适应WEBP是图片格式转换的一种，开启自适应WEBP功能后，用户请求URL中无需携带相关参数，CDN节点可将Accept请求头值中包括image/webp的图片格式自动转换为WEBP，以获得更好的压缩率及图像质量。 注意 开启自适应WEBP功能后，原始图片缓存会失效，短时间内文件命中率会下降，一段时间后会自行恢复，请避免在业务高峰期开启该功能。 自动瘦身 自动瘦身是图片质量转换的一种，开启自动瘦身后，用户请求URL中无需携带相关参数，CDN节点可按照预先设定的相对质量比例自动完成图片质量转换，以对图片进行压缩，节省用户访问流量。 注意 如需配置自动瘦身功能，请在工单中注明自动瘦身比例。 URL中携带特定参数实现图片处理 开通图片处理功能后，用户可通过在URL中携带特定参数实现灵活的图片处理能力。 图片处理请求URL格式为： 具体字段含义如下： 参数 说明 www.ctyun.cn 在天翼云加速的CDN域名。 a.jpg 需要处理的图片名称。 action 图片处理的固定参数名。 key1:value1 图片处理的具体参数，例如：format:bmp，则表示对该图片进行格式转换动作，将a.jpg转换为bmp格式。 key2:value2 图片处理的具体参数2，支持对同个图片做多个处理动作。 1.存在多个处理参数时，getinfo优先级最高，如有该参数，其他参数忽略无效。 2.存在多个处理参数，且不包括getinfo时，format格式转换参数将作为最后动作来处理，其他处理参数将按参数携带的先后顺序依次进行处理。 示例： 处理效果为：对a.jpg先将其绝对质量转换为80，再对其进行居中宽400高200的裁剪，最后将其转换为bmp图片格式。 目前支持的图片处理操作及对应参数如下： 图片处理功能 参数 说明 格式转换 format 对图片格式进行转换。 质量转换 quality 对图片质量进行转换，支持绝对质量转换和相对质量转换。 图片裁剪 cut 对图片进行指定位置的裁剪。 图片缩放 resize 对图片进行缩放。 图片旋转 rotate 对图片进行旋转。 图片色彩 brightnesscontrast 对图片的亮度和对比度进行调整。 添加水印 textwatermarks、imagewatermarks 添加文字水印或图片水印。 图片置灰 grayscale 对图片进行置灰。 渐进式加载 progressive 将图片转换为渐进式加载格式。 获取图片信息 getinfo 获取图片信息，包括图片的大小、宽、高、图片格式、图片质量和图片方向信息。

本章主要介绍翼MapReduce的启用集群间拷贝功能。 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。拷贝数据的集群双方都需要配置。 管理员可以根据以下指导，在FusionInsight Manager修改参数以启用集群间拷贝功能。启用之后即可创建将数据备份至远端HDFS（RemoteHDFS）的备份任务。 对系统的影响 启用集群间复制功能需要重启Yarn，服务重启期间无法访问。 前提条件 拷贝数据的集群的HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。默认设置为“privacy”表示加密，“authentication”表示不加密。 对于安全模式的集群，集群之间需要配置系统互信。 操作步骤 1.登录其中一个集群的FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 服务> Yarn > 配置”，单击“全部配置”。 3.左边菜单栏中选择“Yarn > 集群间拷贝”。 4.修改参数“dfs.namenode.rpcaddress”，在“haclusterX.remotenn1”右侧填写对端集群其中一个NameNode实例的业务IP和RPC端口，在“haclusterX.remotenn2”右侧填写对端集群另外一个NameNode实例的业务IP和RPC端口。 “haclusterX.remotenn1”和“haclusterX.remotenn2”不区分主备NameNode。NameNode RPC端口默认为“8020”，不支持通过Manager修改。 修改后参数值例如：“10.1.1.1:8020”和“10.1.1.2:8020”。 说明 如果本集群数据要备份至多个集群的HDFS中，可以继续配置对应的NameNode RPC地址至haclusterX1、haclusterX2、haclusterX3、haclusterX4。 5.单击“保存”，并在确认对话框中单击“确定”。 6.重启Yarn服务。 7.登录另外一个集群的FusionInsight Manager，重复2~6。

本章主要介绍翼MapReduce的加固策略功能。 加固Tomcat 在FusionInsight Manager软件安装及使用过程中，针对Tomcat基于开源做了如下功能增强： 升级Tomcat版本为官方稳定版本。 设置应用程序webapplications之下的目录权限为500，对webapplications之下的部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 webapplications下针对工程禁用自动部署功能，只部署了web、cas和clientregistry三个工程。 禁用部分未使用的http方法，防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令，避免被黑客捕获利用关闭服务器，降低对服务器和应用的威胁。 出于安全考虑，更改“maxHttpHeaderSize”的取值，给服务器管理员更大的可控性，以控制客户端不正常的请求行为。 安装Tomcat后，修改Tomcat版本描述文件。 为了避免暴露Tomcat自身的信息，更改Connector的Server属性值，使攻击者不易获知服务器的相关信息。 控制Tomcat自身配置文件、可执行文件、日志目录、临时目录等文件和目录的权限。 关闭会话facade回收重用功能，避免请求泄漏风险。 CookieProcessor使用LegacyCookieProcessor，避免cookie中的敏感数据泄漏。 加固LDAP 在安装完集群后，针对LDAP做了如下功能增强： LDAP配置文件中管理员密码使用SHA加密，当升级openldap版本为2.4.39或更高时，主备LDAP节点服务自动采用SASL External机制进行数据同步，避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议，可安全使用。当升级openldap版本为2.4.39或更高时，LDAP将自动使用TLS1.0以上的协议通讯，避免未知的安全风险。

本章主要介绍翼MapReduce的恢复Kafka元数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Kafka元数据，建议手动备份最新Kafka元数据后，再执行恢复操作。否则会丢失从备份时刻到恢复时刻之间的Kafka元数据信息。 对系统的影响 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，Kafka的消费者在ZooKeeper上保存的offset信息将会回退，可能导致重复消费。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 先停止Kafka服务，待恢复完成后，再启动Kafka服务。 登录FusionInsight Manager，请参见登录管理系统。

本章主要介绍翼MapReduce的备份HDFS业务数据功能。 操作场景 为了确保HDFS日常用户的业务数据安全，或者系统管理员需要对HDFS进行重大操作（如升级或迁移等），需要对HDFS数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HDFS任务并备份数据。支持创建任务自动或手动备份数据。 说明 加密目录不支持备份恢复。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照，否则无法创建备份任务。 如果数据要备份至NAS中，需要提前部署好NAS服务端。

本章节主要介绍翼MapReduce的切换Ranger鉴权操作。 操作场景 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，管理员可在服务页面手动停用Ranger鉴权，停用Ranger鉴权后，访问组件资源时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 从历史版本升级的集群，用户访问组件资源时默认不使用Ranger鉴权，管理员可在安装了Ranger服务后手动启用Ranger鉴权。 说明 安全模式集群中，支持使用Ranger鉴权的组件包括：HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark2x、Impala。 非安全模式集群中，Ranger可以支持基于OS用户进行组件资源的权限控制，支持启用Ranger鉴权的组件包括：HBase、HDFS、Hive、Spark2x、Yarn。 启用Ranger鉴权后，该组件所有鉴权将由Ranger统一管理，原鉴权插件设置的权限将会失效（HDFS与Yarn的组件ACL规则仍将生效），请谨慎操作，建议提前在Ranger上做好权限部署。 停用Ranger鉴权后，该组件所有鉴权将由组件自身权限插件管理，Ranger上设置的权限将会失效，请谨慎操作，建议提前在Manager上做好权限部署。 启用Ranger鉴权 1. 登录FusionInsight Manager。 2. 选择“集群 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 在服务详情页面单击“更多”，选择“启用Ranger鉴权”。 5. 输入当前登录的用户密码确认身份，单击“确定”。 6. 在服务列表，重启配置过期的服务。

本章主要介绍翼MapReduce的恢复DBService数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对DBService进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对DBService进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie的元数据。恢复DBService的数据将恢复全部相关组件的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，依赖DBService的组件可能配置过期，需要重启配置过期的服务。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常，不能执行恢复操作。

本章节主要介绍翼MapReduce的修改用户密码操作。 操作场景 出于安全的考虑，“人机”类型系统用户密码必须定期修改。 如果用户具备使用FusionInsight Manager的权限时，可以通过FusionInsight Manager完成修改自身密码工作。 如果用户不具备使用FusionInsight Manager的权限时，可以通过客户端修改自身密码。 前提条件 从管理员获取当前的密码策略。 已在集群内的任一节点安装了客户端，并获取此节点IP地址。请联系管理员获取客户端安装用户密码。 使用FusionInsight Manager修改密码 1. 登录FusionInsight Manager。 2. 移动鼠标到界面右上角的用户名。 在弹出菜单中单击“修改密码”。 3. 在“密码修改界面”分别输入“旧密码”、“新密码”、“确认新密码”，单击“确定”完成修改。 默认密码复杂度要求： 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~!@ $%^&()+[{}];', /? 。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同，N为配置密码策略中“重复使用规则”的值。 使用客户端修改密码 1. 以客户端安装用户登录安装客户端的节点。 2. 执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 3. 执行以下命令，配置环境变量。 source bigdataenv 4. 执行以下命令，修改系统用户密码。此操作对所有服务器生效。 kpasswd 系统用户名称 例如，修改系统用户“test1”，执行 kpasswd test1 。 默认密码复杂度要求： 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~!@

本章节主要介绍翼MapReduce的多租户功能。 定义 多租户是MRS集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源的能力。资源包括计算资源和存储资源。 背景 现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足： 不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。 某些类型的用户（例如银行、政府单位等）对数据安全非常关注，很难容忍将自己的数据与其他用户的放在一起。 这给大数据集群带来了以下挑战： 合理地分配和调度资源，以支持多种应用和作业在集群上平稳运行。 对不同的用户进行严格的访问控制，以保证数据和业务的安全。 多租户将大数据集群的资源隔离成一个个资源集合，彼此互不干扰，用户通过“租用”需要的资源集合，来运行应用和作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 对此，MRS企业级大数据集群提供了完整的企业级大数据多租户解决方案。 优势 合理配置和隔离资源 租户之间的资源是隔离的，一个租户对资源的使用不影响其他租户，保证了每个租户根据业务需求去配置相关的资源，可提高资源利用效率。 测量和统计资源消费 系统资源以租户为单位进行计划和分配，租户是系统资源的申请者和消费者，其资源消费能够被测量和统计。 保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。

本节主要介绍Redis常见使用规范，主要从Key名称、Value值、Redis命令以及其他方面描述。 Key名称 Key名称的使用规范如下： 使用统一的命名规范。 一般使用业务名(或数据库名)为前缀，用冒号分隔，例如，业务名:表名:id。 控制key名称的长度。 在保证语义清晰的情况下，尽量减少Key的长度。有些常用单词可使用缩写，例如，user缩写为u，messages缩写为msg。 名称中不要包含特殊字符。 Value值 Value值的使用规范如下： 要避免大Key。 大Key会带来网卡流量风暴和慢查询，一般string类型控制在10KB以内，hash、list、set、zset元素个数不要超过5000。 选择合适的数据类型。 比如存储用户的信息，可用使用多个key，使用set u:1:name "X"、set u:1:age 20这样存储，也可以使用hash数据结构，存储成1个key，设置用户属性时使用hmset一次设置多个，同时这样存储也能节省内存。 设置合理的过期时间。 最好是过期时间打散，不要集中在某个时间点过期。 Redis命令 Redis命令的常用规范如下： 时间复杂度为O(N)的命令，需要特别注意N的值。 例如：hgetall、lrange、smembers、zrange、sinter这些命令都是做全集操作，如果元素很多，是很耗性能的。可使用hscan、sscan、zscan这些分批扫描的命令替代。 命令禁用，使用前，请参考Redis命令兼容性和WebCli命令兼容性。 慎重使用select。 Redis多数据库支持较弱，多业务用多数据库实际还是单线程处理，会有干扰。最好是拆分使用多个Redis。天翼云集群实例不支持多DB。 如果有批量操作，可使用mget、mset或pipeline，提高效率，但要注意控制一次批量操作的元素个数。 mget、mset和pipeline的区别如下： mget和mset是原子操作，pipeline是非原子操作。 pipeline可以打包不同的命令，mget和mset做不到。 使用pipeline，需要客户端和服务端同时支持。 lua脚本的执行超时时间为5秒钟，建议不要在lua脚本中使用比较耗时的代码，比如长时间的sleep、大的循环等语句。 调用lua脚本时，建议不要使用随机函数去指定key，否则在主备节点上执行结果不一致，从而导致主备节点数据不一致。 集群实例使用lua有如下限制： 使用EVAL和EVALSHA命令时，命令参数中必须带有至少1个key，否则客户端会提示“ERR eval/evalsha numkeys must be bigger than zero in redis cluster mode”的错误。 使用EVAL和EVALSHA命令时，DCS Redis集群实例使用第一个key来计算slot，用户代码需要保证操作的key是在同一个slot。

可以查看iSCSI磁盘对应HBlock卷的WWID 5. 操作 MPIO 设备。 将iSCSI磁盘分区挂载到本地目录上，挂载之后可以写入数据。 plaintext lsblk mkfs t ext4 /dev/mapper/mpathX 格式化成 ext4 mkdir DIRECTORYNAMEORPATH 创建目录 mount /dev/mapper/mpathX DIRECTORYNAMEORPATH 将mpathX挂载到目录 lsblk 注意 如果用户之前已经连接过此磁盘并完成了格式化，重新连接后无需再次进行磁盘格式化，直接挂载iSCSI磁盘即可。 说明 常用的文件系统有ext4、XFS，具体格式化成哪种文件系统要视用户文件系统决定。 注意 如果用户需要断开连接或者删除磁盘，执行下列步骤： 1. 确保在卸载文件系统之前，没有进程正在使用该文件系统的文件夹。 2. 使用sync命令来确保所有挂起的写操作都已写入磁盘。 3. 使用umount命令来正常卸载文件系统，断开iSCSI连接。 plaintext umount DIRECTORYNAMEORPATH iscsiadm m node T iSCSITARGETIQN p SERVERIP u 示例 plaintext [root@client ~] sync [root@client ~] umount /mnt/diskmpatha [root@client ~] iscsiadm m node T iqn.201208.cn.ctyunapi.oos:target01.1 p 192.168.0.102 u Logging out of session [sid: 2, target: iqn.201208.cn.ctyunapi.oos:target01.1, portal: 192.168.0.102,3260] Logout of [sid: 2, target: iqn.201208.cn.ctyunapi.oos:target01.1, portal: 192.168.0.102,3260] successful. [root@client ~]

本节介绍如何快速上手iBox边缘盒子（园区版/城管版）。 设备默认信息 设备出厂默认WAN口的IPv4地址：dhcp。 设备出厂默认LAN口的IPv4地址：192.168.150.1。 常见厂商rtsp码流列表 海康相机RTSP地址格式为：“rtsp://用户名:密码@相机IP地址:554/ch1/main/avstream”。 大华相机RTSP地址格式为：“rtsp://用户名:密码@相机IP地址:554/cam/realmonitor?channel1&subtype0”。 华为相机RTSP地址格式为：“rtsp://用户名:密码@相机IP地址/LiveMedia/ch1/Media1”。 宇视相机RTSP地址格式为：“rtsp://用户名：密码@相机IP地址/media/video1”。 Web浏览器登录 线缆连接 1. 接入线缆，观察STAT指示灯是否正常亮起。 2. 将网线一端连接至LAN口上，将另一端连接至电脑网口上，查看网口指示灯是否正常闪烁。 配置电脑网口 具体操作流程为： 1. 打开windows设置，进入以太网，打开网络和共享中心。 2. 点击以太网。 3. 配置IP地址为192.168.150.2，子网掩码为255.255.255.0。 设置完上述操作，用户即可在谷歌浏览器中输入192.168.150.1，便可开始使用Ibox一体机。