本章主要介绍翼MapReduce的启用集群间拷贝功能。 操作场景 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时，需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能，该功能默认未启用。拷贝数据的集群双方都需要配置。 管理员可以根据以下指导，在FusionInsight Manager修改参数以启用集群间拷贝功能。启用之后即可创建将数据备份至远端HDFS（RemoteHDFS）的备份任务。 对系统的影响 启用集群间复制功能需要重启Yarn，服务重启期间无法访问。 前提条件 拷贝数据的集群的HDFS的参数“hadoop.rpc.protection”需使用相同的数据传输方式。默认设置为“privacy”表示加密，“authentication”表示不加密。 对于安全模式的集群，集群之间需要配置系统互信。 操作步骤 1.登录其中一个集群的FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 服务> Yarn > 配置”，单击“全部配置”。 3.左边菜单栏中选择“Yarn > 集群间拷贝”。 4.修改参数“dfs.namenode.rpcaddress”，在“haclusterX.remotenn1”右侧填写对端集群其中一个NameNode实例的业务IP和RPC端口，在“haclusterX.remotenn2”右侧填写对端集群另外一个NameNode实例的业务IP和RPC端口。 “haclusterX.remotenn1”和“haclusterX.remotenn2”不区分主备NameNode。NameNode RPC端口默认为“8020”，不支持通过Manager修改。 修改后参数值例如：“10.1.1.1:8020”和“10.1.1.2:8020”。 说明 如果本集群数据要备份至多个集群的HDFS中，可以继续配置对应的NameNode RPC地址至haclusterX1、haclusterX2、haclusterX3、haclusterX4。 5.单击“保存”，并在确认对话框中单击“确定”。 6.重启Yarn服务。 7.登录另外一个集群的FusionInsight Manager，重复2~6。

本章主要介绍翼MapReduce的加固策略功能。 加固Tomcat 在FusionInsight Manager软件安装及使用过程中，针对Tomcat基于开源做了如下功能增强： 升级Tomcat版本为官方稳定版本。 设置应用程序webapplications之下的目录权限为500，对webapplications之下的部分目录支持写权限。 系统软件安装完成后自动清除Tomcat安装包。 webapplications下针对工程禁用自动部署功能，只部署了web、cas和clientregistry三个工程。 禁用部分未使用的http方法，防止被他人利用攻击。 更改Tomcat服务器默认shutdown端口号和命令，避免被黑客捕获利用关闭服务器，降低对服务器和应用的威胁。 出于安全考虑，更改“maxHttpHeaderSize”的取值，给服务器管理员更大的可控性，以控制客户端不正常的请求行为。 安装Tomcat后，修改Tomcat版本描述文件。 为了避免暴露Tomcat自身的信息，更改Connector的Server属性值，使攻击者不易获知服务器的相关信息。 控制Tomcat自身配置文件、可执行文件、日志目录、临时目录等文件和目录的权限。 关闭会话facade回收重用功能，避免请求泄漏风险。 CookieProcessor使用LegacyCookieProcessor，避免cookie中的敏感数据泄漏。 加固LDAP 在安装完集群后，针对LDAP做了如下功能增强： LDAP配置文件中管理员密码使用SHA加密，当升级openldap版本为2.4.39或更高时，主备LDAP节点服务自动采用SASL External机制进行数据同步，避免密码信息被非法获取。 集群中的LDAP服务默认支持SSLv3协议，可安全使用。当升级openldap版本为2.4.39或更高时，LDAP将自动使用TLS1.0以上的协议通讯，避免未知的安全风险。

本章主要介绍翼MapReduce的恢复Kafka元数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对ZooKeeper进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，导致Kafka组件全部故障无法使用，或者迁移数据到新集群的场景中，需要对Kafka元数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Kafka任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复Kafka元数据，建议手动备份最新Kafka元数据后，再执行恢复操作。否则会丢失从备份时刻到恢复时刻之间的Kafka元数据信息。 对系统的影响 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，Kafka的消费者在ZooKeeper上保存的offset信息将会回退，可能导致重复消费。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 先停止Kafka服务，待恢复完成后，再启动Kafka服务。 登录FusionInsight Manager，请参见登录管理系统。

本章主要介绍翼MapReduce的备份HDFS业务数据功能。 操作场景 为了确保HDFS日常用户的业务数据安全，或者系统管理员需要对HDFS进行重大操作（如升级或迁移等），需要对HDFS数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HDFS任务并备份数据。支持创建任务自动或手动备份数据。 说明 加密目录不支持备份恢复。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照，否则无法创建备份任务。 如果数据要备份至NAS中，需要提前部署好NAS服务端。

本章节主要介绍翼MapReduce的切换Ranger鉴权操作。 操作场景 新安装的安全模式集群默认即安装了Ranger服务并启用了Ranger鉴权，用户可以通过组件的权限插件对组件资源的访问设置细粒度的安全访问策略。若不需使用Ranger进行鉴权，管理员可在服务页面手动停用Ranger鉴权，停用Ranger鉴权后，访问组件资源时系统将继续基于FusionInsight Manager的角色模型进行权限控制。 从历史版本升级的集群，用户访问组件资源时默认不使用Ranger鉴权，管理员可在安装了Ranger服务后手动启用Ranger鉴权。 说明 安全模式集群中，支持使用Ranger鉴权的组件包括：HDFS、Yarn、Kafka、Hive、HBase、Storm、Spark2x、Impala。 非安全模式集群中，Ranger可以支持基于OS用户进行组件资源的权限控制，支持启用Ranger鉴权的组件包括：HBase、HDFS、Hive、Spark2x、Yarn。 启用Ranger鉴权后，该组件所有鉴权将由Ranger统一管理，原鉴权插件设置的权限将会失效（HDFS与Yarn的组件ACL规则仍将生效），请谨慎操作，建议提前在Ranger上做好权限部署。 停用Ranger鉴权后，该组件所有鉴权将由组件自身权限插件管理，Ranger上设置的权限将会失效，请谨慎操作，建议提前在Manager上做好权限部署。 启用Ranger鉴权 1. 登录FusionInsight Manager。 2. 选择“集群 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 在服务详情页面单击“更多”，选择“启用Ranger鉴权”。 5. 输入当前登录的用户密码确认身份，单击“确定”。 6. 在服务列表，重启配置过期的服务。

本章主要介绍翼MapReduce的恢复DBService数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对DBService进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对DBService进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复DBService任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的DBService数据。 MRS集群中默认使用DBService保存Hive、Hue、Loader、Spark、Oozie的元数据。恢复DBService的数据将恢复全部相关组件的元数据。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，依赖DBService的组件可能配置过期，需要重启配置过期的服务。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查DBService主备实例状态是否正常。如果不正常，不能执行恢复操作。

本章节主要介绍翼MapReduce的修改用户密码操作。 操作场景 出于安全的考虑，“人机”类型系统用户密码必须定期修改。 如果用户具备使用FusionInsight Manager的权限时，可以通过FusionInsight Manager完成修改自身密码工作。 如果用户不具备使用FusionInsight Manager的权限时，可以通过客户端修改自身密码。 前提条件 从管理员获取当前的密码策略。 已在集群内的任一节点安装了客户端，并获取此节点IP地址。请联系管理员获取客户端安装用户密码。 使用FusionInsight Manager修改密码 1. 登录FusionInsight Manager。 2. 移动鼠标到界面右上角的用户名。 在弹出菜单中单击“修改密码”。 3. 在“密码修改界面”分别输入“旧密码”、“新密码”、“确认新密码”，单击“确定”完成修改。 默认密码复杂度要求： 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~!@ $%^&()+[{}];', /? 。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码。 不可与最近N次使用过的密码相同，N为配置密码策略中“重复使用规则”的值。 使用客户端修改密码 1. 以客户端安装用户登录安装客户端的节点。 2. 执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 3. 执行以下命令，配置环境变量。 source bigdataenv 4. 执行以下命令，修改系统用户密码。此操作对所有服务器生效。 kpasswd 系统用户名称 例如，修改系统用户“test1”，执行 kpasswd test1 。 默认密码复杂度要求： 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~!@

本章节主要介绍翼MapReduce的多租户功能。 定义 多租户是MRS集群中的多个资源集合（每个资源集合是一个租户），具有分配和调度资源的能力。资源包括计算资源和存储资源。 背景 现代企业的数据集群在向集中化和云化方向发展，企业级大数据集群需要满足： 不同用户在集群上运行不同类型的应用和作业（分析、查询、流处理等），同时存放不同类型和格式的数据。 某些类型的用户（例如银行、政府单位等）对数据安全非常关注，很难容忍将自己的数据与其他用户的放在一起。 这给大数据集群带来了以下挑战： 合理地分配和调度资源，以支持多种应用和作业在集群上平稳运行。 对不同的用户进行严格的访问控制，以保证数据和业务的安全。 多租户将大数据集群的资源隔离成一个个资源集合，彼此互不干扰，用户通过“租用”需要的资源集合，来运行应用和作业，并存放数据。在大数据集群上可以存在多个资源集合来支持多个用户的不同需求。 对此，MRS企业级大数据集群提供了完整的企业级大数据多租户解决方案。 优势 合理配置和隔离资源 租户之间的资源是隔离的，一个租户对资源的使用不影响其他租户，保证了每个租户根据业务需求去配置相关的资源，可提高资源利用效率。 测量和统计资源消费 系统资源以租户为单位进行计划和分配，租户是系统资源的申请者和消费者，其资源消费能够被测量和统计。 保证数据安全和访问安全 多租户场景下，分开存放不同租户的数据，以保证数据安全；控制用户对租户资源的访问权限，以保证访问安全。

本文将帮助您了解HTTP/HTTPS请求获取客户端真实源IP地址的工作原理及操作步骤。 应用场景 客户端真实源IP地址可以用于分析网站流量和用户行为。通过分析来源IP地址，可以了解用户的地理位置、浏览器偏好和其他用户行为指标。这些数据可以用于优化网站设计、定位目标受众和改善用户体验。 工作原理 负载均衡的工作原理本身会将一个会话拆分成两段：第一段是从客户端到ELB；第二段是从ELB到后端主机。客户端访问业务的源IP地址是客户端IP地址，目的地址是ELB的服务地址，数据报文到达ELB后，ELB会将报文的源IP地址从客户端的IP地址替换为ELB的IP。ELB再根据客户预定义的负载算法选择的目标主机，将报文的目的IP地址替换为后端主机地址，再将数据转发到后端主机。所以后端主机得到的访问请求源IP地址是ELB的地址。在实际业务中，存在一些场景，需要通过客户的真实IP来达到统计和监控等目的。 天翼云集群模式资源池，HTTP/HTTPS ELB的监听器可以开启了XForwardedFor头字段，字段的格式如下： XForwardedFor: , , , … 当使用此方式获取HTTP/HTTPS请求客户端真实IP地址时，获取到的第一个地址就是客户端真实IP。 主备、集群模式资源池列表见产品简介产品类型和规格，实际情况以控制台展现为准。

本文为您介绍如何创建迁移任务。 操作场景 在“对象存储>对象存储迁移服务>迁移任务”控制台界面，您可以创建迁移任务，将其它云厂商存储的数据迁移到天翼云对象存储（ZOS）。 注意 本章节默认为全托管模式的教程，若您需要创建半托管迁移任务，请阅读 前提条件 您已经在天翼云对象存储ZOS开通Bucket。 您的源端存在待迁移的数据。 请确保您的业务处于空闲阶段或非高峰期，避免迁移执行时影响您的业务。 请确保您的源端数据已经解冻，并在迁移完成前保持解冻状态，避免因源端数据未解冻迁移失败。 操作指导 1.登录控制中心，点击控制中心左上角的，选择地域（服务入口目前仅开放“华东1”地域，推荐选择“华东1”即可）。 说明 迁移服务的控制台入口仅部分地域开放（目前仅有“华东1”开放），但服务支持迁移到全国不同资源池的ZOS桶。 例如：您在“华东1”的迁移服务控制台使用服务，依旧能为您迁移源端为“其他云服务商”或“华北2”的数据到“成都4”的对象存储桶。 2.单击“对象存储>对象存储迁移服务>迁移任务 ”进入迁移服务的迁移任务控制台，点击“ 创建迁移任务 ”。 注意 使用对象存储迁移服务会获取您的AK/SK等认证信息，为确保您一定知情，创建任务时会有使用提示弹窗，需要您阅读并手动勾选服务协议，进行确认。您有权不勾选服务协议，并不使用该服务，请您知悉。 3.在创建迁移任务的页面，需填写如下参数。填写完成后，点击“ 下一步：确认任务 ”即可。 参数 说明 :: 任务信息 任务名称 输入自定义的任务名称。 说明 命名规则：必须为大小写字母、数字、横线或下划线，长度在432个字符之间；自定义的任务名称不能与您已存在的任务名称重复。 迁移模式 迁移任务运行模式 选择创建迁移任务的模式，支持全托管模式和半托管模式。 说明： 全托管模式：迁移任务将在服务端执行，适合数据量在10TB以内，或对迁移耗时没有紧急诉求的客户。 半托管模式：迁移任务将运行在客户自己的设备上，客户可通过提供更高的网络带宽和更多的迁移设备，实现更高速的迁移，适合数据量在10TB以上，或对迁移耗时有明确诉求的客户。 注意 半托管迁移模式依赖您已经部署完成代理，代理设备与迁移服务服务端连通，否则无法创建半托管模式的迁移任务。 若您想使用半托管模式进行迁移，可阅读如何使用半托管模式进行迁移章节。 迁移模式 选择执行本任务的代理设备 选择执行本任务的代理设备，迁移任务将会下发给指定的代理设备用于执行迁移。 说明 仅能选择“已连接”状态，且有“可用”状态worker节点的代理。 选择源端 源端 选择源端数据的服务提供方。 说明 目前支持的源端： 支持阿里云（OSS）、华为云（OBS）、腾讯云（COS）迁移至ZOS。 支持天翼云对象存储（ZOS）、天翼云（OOS）迁移至ZOS。 支持AWS（S3）和其他遵循标准S3协议的对象存储服务迁移至ZOS。 选择源端 EndPoint Endpoint支持输入IP地址或域名。 若使用非默认端口，请输入端口号，格式为IP:Port。 注意 腾讯云COS的Endpoint较为特殊，仅需填写region即可，例如：apbeijing、apshanghai。 选择源端 Access Key 输入您源端的Access Key。 选择源端 Secret Key 输入您源端的Secret Key。 选择源端 存储桶 输入您源端的对象存储桶名称。 选择源端 迁移方式 选择源端数据的迁移方式，支持：指定存储桶、指定文件夹、指定对象、指定前缀。 说明 指定存储桶 ：选择“指定存储桶”时，将会迁移存储桶内的全部对象。 指定文件夹 ：选择“指定文件夹”时，将会迁移选中文件夹下的所有对象。仅支持单个文件夹。 指定对象 ：选择“指定对象”时，将会迁移选中的对象。最大支持指定100个对象。 指定前缀 ：选择“指定前缀”时，将会迁移桶中所有以该前缀开头的对象。仅支持单个前缀。 选择源端 迁移晚于起始时间的对象 选择该选项时，用户可配置“起始时间 ”，任务将仅迁移最后修改时间晚于该“起始时间 ”的对象。 选择源端 迁移早于终止时间的对象 选择该选项时，用户可配置“终止时间 ”，任务将仅迁移最后修改时间早于该“终止时间 ”的对象。 注意 若您同时设定“起始时间 ”和“终止时间 ”，限制“终止时间 ”需晚于（不包含等于）“起始时间 ”。 选择目的端 目的端 指定为天翼云对象存储ZOS。 选择目的端 EndPoint Endpoint支持输入IP地址或域名。 若使用非默认端口，请输入端口号，格式为IP:Port。 说明 目的端为ZOS，您可在对象存储ZOS的bucket“概览域名信息”中找到终端节点（Endpoint）信息。 选择目的端 Access Key 输入您目的端的Access Key。 选择目的端 Secret Key 输入您目的端的Secret Key。 选择目的端 存储桶 输入您目的端的对象存储桶名称。 选择目的端 目的端指定前缀 是否在目的端指定前缀： 关闭 目的端指定前缀，则会将源端数据按原有目录结构迁移至目的端存储桶。 开启 目的端指定前缀，可为迁移至目的端的对象（或文件夹）增加指定的前缀，可分为“增加前缀”和“增加前缀目录”。 说明 说明： 增加前缀 ：若您输入的前缀不为目录，则为迁移的对象（或文件夹）增加该部分前缀。例如：指定源端桶 bucketA 的文件夹 bucketA/a/folder1 进行迁移，目的端桶为 bucketB，目的端指定前缀为 Test，则迁移至目的端后为 bucketB/Testa/folder1 。 增加前缀目录 ：若您输入的前缀为目录，则为迁移的对象（或文件夹）增加该部分前缀目录，实现将对象迁移至指定的目录下的效果。例如：指定源端桶bucketA的对象 bucketA/a/fileA.png 和 bucketA/b/fileB.png 进行迁移，目的端桶为 bucketB，目的端指定前缀为 Test/，则迁移至目的端后为 bucketB/Test/a/fileA.png 和 bucketB/Test/b/fileB.png 。 选择目的端 存储类型 选择迁移数据在目的端的存储类型，支持：匹配源端、标准存储、低频存储、归档存储。 说明 匹配源端 ：会自动匹配源端存储类型，与源端存储类型保持一致。但仅能自动匹配源端的“标准”和“低频”类型，匹配源端的“归档”或“深度归档”类型，请您务必提前对源端归档数据进行手动解冻，并确保迁移任务完成前数据保持解冻状态，否则该部分数据会迁移失败。 标准存储 ：将会存储为标准类型。 低频存储 ：将会存储为低频类型。 归档存储 ：将会存储为归档类型。 不同地域的对象存储ZOS bucket所支持的存储类型不一致，若您此处选择的存储类型，在您的目的端bucket所在地域并不支持，则迁移会失败。您可参考对象存储ZOS产品能力地图，以便确定您的目的端对不同存储类型的支持情况。 选择目的端 ACL配置 选择迁移数据在目的端的ACL配置，支持：匹配源端、私有、公共读。 说明 匹配源端 ：会自动匹配源端的ACL配置，与源端保持一致。 私有 ：会将目的端ACL配置为私有。 公共读 ：会将目的端ACL配置为公共读。 高级选项 同名文件是否覆盖 选择迁移的同名文件处理策略，支持：同名文件不覆盖、同名文件全覆盖、按最后修改时间判断。 说明 不覆盖 ：对同名文件，不进行任何判断，一律执行跳过。 全覆盖 ：对于同名文件，不进行任何判断，一律执行覆盖。 按最后修改时间 ：对于同名文件，优先判断二者的Lastmodified（即最后修改时间），仅当源端文件相较目的端修改时间更新时，进行覆盖。若源端与目的端文件最后修改时间一致，则判断两者的文件大小，大小一致则执行跳过，大小不一致则执行覆盖。 注意 选择“全覆盖 ”将会覆盖您目的端的同名文件，被覆盖的文件无法被恢复，请您配置时慎重评估是否全覆盖，避免不必要的损失。 注意 创建迁移任务的参数涉及您源端存储数据的相关信息，需要您自行在源端获取，部分信息涉及您的隐私，请注意保密。 4.在确认任务页面，您可以再次检查填写的任务参数，确定无误后，点击“ 创建任务 ”，这里需要您进行二次确认，确认后即可创建任务。 说明 创建任务时，迁移服务会对您的源端进行连通性检查，存在一定的等待时间，若创建任务失败，则会弹出“创建迁移任务失败”弹窗，弹窗中会展示失败的具体信息，以帮助您检查配置是否有误。 5.创建任务成功后，回到迁移任务列表页面，新创建的任务会在列表中展示，且新创建的任务会自动进入“ 排队中 ”状态，排队等待执行，无需您再手动执行任务。

本文为您介绍如何通过密钥管理控制台查看已创建的用户主密钥详细信息。 成功创建了用户主密钥之后，您可以通过控制台查看密钥列表以及密钥详情信息。 操作步骤 1. 登录密钥管理服务控制台。 2. 在页面最上方的导航栏的资源池下拉列表，选择密钥所在的区域。 3. 在左侧导航栏，单击 密钥管理服务 ，进入 密钥列表 。 4. 在密钥列表中，查看密钥信息。密钥列表参数说明如下表所示。 参数 说明 密钥ID 创建密钥时自动生成的密钥ID。可点击进入密钥详情。 别名 密钥的别名。 密钥状态 密钥的状态，包含： 启用中 已禁用 待删除 待导入 密钥类型 创建密钥时选择的算法类型，包含： 对称密钥：AES256、CtyunSM4（企业版支持） 非对称密钥：RSA2048、CtyunSM2（企业版支持） 密钥用途 创建密钥时选择的用途，包含： Encrypt/Decrypt Sign/Verify，仅非对称密钥支持 保护级别 创建密钥时选择的保护级别，包含： Software Hsm 创建时间 创建该密钥的时间。 操作 用户可以对密钥进行启用/禁用、计划删除密钥/取消计划删除密钥、编辑标签操作。 5. 在密钥列表点击 密钥ID ，进入 密钥详情页 。 在密钥详情区域可查看当前密钥的详细信息。 密钥详情参数说明如下表所示： 参数 说明 密钥类型 创建密钥时选择的算法类型，包含： 对称密钥：AES256、CtyunSM4（企业版支持） 非对称密钥：RSA2048、CtyunSM2（企业版支持） 密钥用途 创建密钥时选择的用途，包含： Encrypt/Decrypt Sign/Verify，仅非对称密钥支持 创建者 即Userid。 密钥状态 密钥的状态，包含： 启用中 已禁用 待删除 待导入 保护级别 创建密钥时选择的保护级别，包含： Software Hsm 创建时间 创建该密钥的时间。 删除保护 状态： 未开启 启用中 说明 开启删除保护状态的密钥，将无法直接删除该密钥，从而避免误删除密钥。若确认要将密钥删除，需要将删除保护关闭。 描述 描述信息，可修改。 在密钥详情页 的别名管理 区域，可为密钥创建别名，同时可删除不需要的别名。详情请参见别名管理。 在密钥详情页 的密钥版本 区域，可为对称密钥设置 轮转策略 ，为非对称密钥手动 更新密钥版本 ，同时可查看当前密钥的版本列表。详情请参见密钥版本管理。 对称密钥，设置轮转策略： 非对称密钥，创建密钥版本： 在密钥详情页 的云产品关联区域，可查看当前密钥绑定的天翼云云上产品。

功能 说明 通过配置IP黑/白名单，全站加速边缘节点可以识别客户端IP，拒绝黑名单中IP的访问，或者放行白名单中IP的访问，可以解决恶意IP攻击等问题。 Referer防盗链功能，是通过设置HTTP请求头中Referer字段的黑白名单来实现访问控制策略的，从而能可以对用户的身份进行识别和筛选，防止网站资源被盗用。配置Referer防盗链功能后，全站加速边缘节点会根据Referer黑/白名单中的内容，允许合法访问、拒绝非法请求。拒绝访问时，全站加速节点会返回403状态码。 UserAgent（简称UA）是HTTP请求头的组成部分之一，包含访客使用的浏览器类型及版本、操作系统及版本等信息。因此UserAgent是访客身份的象征，标志访客访问时所使用的工具。通过识别HTTP请求中的UserAgent字段中包含的部分信息，可以规范访客的行为，拦截或允许某一类访客的访问，实现防盗链、防盗刷、防攻击的目的。 URL黑白名单是网络安全管理中的一种重要机制，主要用于控制用户对特定资源的访问权限。 为了防止站点资源被恶意下载或者非法盗用，避免产生不必要的带宽浪费，可以配置URL鉴权功能。配置URL鉴权后，全站加速产品会对加密串及时间戳进行校验，从而有效地保护用户站点资源。 可以通过配置远程同步鉴权功能，在全站加速节点收到用户请求后，将请求转发回提前设定的鉴权源站，在源站鉴权许可后，全站加速节点才给用户返回对应内容，从而实现用户鉴权规则由源站全权定义。 天翼云全网带宽控制功能可通过设置单个域名或多个域名的总带宽值来控制带宽总用量，避免因带宽突发带来更多的带宽费用。 全站加速的有序回源功能是一种流量求并发回源时控制方法，用于大量请的排队管理。 单请求限速功能可以限制全站加速节点响应给用户的下行速率，从而减少域名的整体带宽，节省成本。 IP访问限频功能可以限制单个用户IP在天翼云全站加速单台服务器上的请求频次，防御CC攻击，防止恶意用户盗刷。

步骤三：创建告警规则 1. 单击“告警服务”下拉菜单，单击“告警规则”，进入告警规则控制台。 2. 在“告警规则”页签下，在页面右上角点击“创建告警规则”。 3. 在“创建告警规则”页面，根据界面提示配置参数。如下图： 1）选择监控对象。按图示顺序依次选择。 2）选择监控指标。 依次选择“自定义创建”，监控指标选择为“文件系统容量使用率“。 可以选择指标的原始值、平均值、最大值、最小值等不同的聚合值作为指标值，并设置监控阈值。容量使用率单位为百分比，可以按需设置85%、90%、95%等值。 聚合周期为计算聚合值的周期，例如选择用平均值进行监控，聚合周期5分钟，则5分钟计算一次平均值作为监控值，出现次数为3次表明3次聚合值达到监控阈值则将触发告警。 选择发送通知即表示同意天翼云云监控服务向您发送告警通知，按实际需求选择告警联系组、触发场景、通知周期等参数。参数定义可参考创建告警规则，更多告警功能使用请参考使用告警功能。 3）规则信息。须填写名称和描述，根据实际情况填写即可。

本章节主要介绍翼MapReduce的分配机架操作。 操作场景 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求： 为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 为了提高容错能力，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。两层网络的集群如下图所示，Node1的Rack建议设置为 /Switch1/Rack1 ，Node4的Rack建议设置为 /Switch1/Rack2 。 两层网络结构 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况，管理员需设置机架名称来确定主机所处的机架，NameNode才能绘出DataNode的网络拓扑图，并尽可能将DataNode的数据备份在不同机架中。同理，YARN需要获取机架信息，在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时，需要使用FusionInsight Manager为主机重新分配机架，相关服务才会自动调整。 对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka，使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载（包括CPU、内存、磁盘、网络）不平衡，降低集群的可靠性，影响集群的稳定运行。所以在分配机架之前，需要进行全局的统筹，合理地设置机架。

企业用户可以通过对公账户打款方式进行实名认证，本文讲述了对公账户打款认证流程。 对公账户打款认证需要您提供一个公司的对公银行账号，天翼云将通过中国银联向此账号里转入随机金额，您在天翼云实名认证页面准确输入到账金额后，即可完成认证。一个企业信息最多可以认证5个天翼云账号（含已注销3个月内的账号）。 注意事项 请准备好企业的银行对公账户。 确保该账户可用，天翼云将向该账户打款。 确保您能直接或间接查询该账户打款信息，需要接收并提交到账金额。 操作步骤 1、登录天翼云官网，进入实名认证页面。 2、选择“企业认证”。 3、在企业认证方式选择页面，选择“对公账户打款认证”。 4、根据页面提示，填写企业信息和银行对公账户信息。 注意 增值税专用发票抬头默认为单位名称，请与贵公司财务人员核实，确保与在税务机关预留的登记信息保持一致，以免影响发票的后续使用。如果选择开户行时，没有找到对应的银行，说明天翼云目前尚不支持向该银行打款。 5、核实您的身份 （1）法定代表人 选择法定代表人操作时，需要填写法定代表人姓名、身份证号码。 （2）被授权人（非法定代表人） 选择被授权人操作时，需要填写法定代表人姓名、授权书、被授权人姓名及身份证号码。 6、身份信息填写无误后，勾选“确保提供的信息真实有效”，并点击下方“下一步”，系统会弹出“身份认证”二维码对话窗。 7、使用天翼云APP或手机微信扫描二维码（请扫描页面实时弹出的“身份认证”对话框中的二维码，若过期请刷新），按照提示完成验证。 8、人脸识别通过后，系统进行信息校验，根据校验情况反馈结果。 （1）法定代表人操作 校验通过，则进入下一步。 校验不通过，如信息不一致，则需要修改信息，重新提交申请。 （2）被授权人操作（非法定代表人） 校验通过，提交后需要等待人工审核，审核时间为13个工作日。 校验不通过，如信息不一致，则需要修改信息，重新提交申请。 人工审核通过，则进入下一步；人工审核不通过，可在实名认证页面查看原因，调整后重新提交申请。 9、信息提交成功后，天翼云将通过中国银联向您的对公账户转入随机金额（0.01元~0.5元，预计将在02天内到账）。 10、请您及时关注并联系对公账户管理员，通过网上银行、手机银行、银行柜台等方式查询到账金额后，您可再回到实名认证页面，输入到账金额，单击“提交认证”，若到账金额输入正确且在有效期内则验证通过，完成实名认证。 说明 随机金额打款账户信息如下： 账户名称：银联商务支付股份有限公司 开户行：银联商务备付金账户 账号：215500709 银行对公账户认证申请7天内有效，超过7天请重新提交认证信息。

本章节主要介绍翼MapReduce的管理实例配置操作。 操作场景 每个单独的角色实例可以修改配置参数在迁移实例到新集群场景或者重新部署相同服务的场景下，管理员可以在FusionInsight Manager中将某服务所有配置数据导入或者导出，实现配置结果的快速复制。 FusionInsight Manager支持管理单个角色实例的配置参数，修改配置参数、导出实例配置或导入实例配置时不影响其他实例。 对系统的影响 修改角色实例配置后，如果实例状态为“配置过期”，则需要重启此实例。重启时对应的实例不可用。 修改实例配置 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作的集群名称 > 服务”。 3. 单击服务视图中指定的服务名称，并选择“实例”页签。 4. 单击指定的实例，选择“实例配置”。 默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将显示该实例支持的所有参数分类。 5. 在导航树选择指定的参数分类，并在右侧修改参数值。 不确定参数的具体位置时，支持在右上角输入参数名，Manager将实时进行搜索并显示结果。 6. 单击“保存”，并在确认对话框中单击“确定”。 等待界面提示“操作成功”，单击“完成”，配置已修改。 说明 角色实例配置参数修改后，如果实例状态为“配置过期”则需要重启此实例，可在“实例”页面勾选“配置过期”的实例，选择“更多 > 重启实例”。 导出导入实例配置 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中待操作的服务名称，并选择“实例”页签。 4. 单击待操作的实例，选择“实例配置”。 5. 单击“导出”，导出配置参数文件到本地。 6. 在实例配置页面单击“导入”，在弹出的配置文件选择框中定位到实例的配置参数文件，即可导入所有配置。

本章节主要介绍翼MapReduce的管理实例组操作。 操作场景 FusionInsight Manager支持对多个实例组的管理功能，即用户可以按照具有相同硬件配置的节点或者其他原则将同一角色内的多个实例进行分组。针对实例组进行的配置参数修改，将同时对组内所有的实例生效。 在大集群场景中，通过实例组将提升大集群下异构环境批量实例的管理能力，分配好实例组后，后续可反复配置，减少实例配置项的冗余，提升系统性能。 创建实例组 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中待操作的服务名称。 4. 选择“实例组”。 单击，按照界面提示填写参数。 实例组配置参数 参数名 说明 组名称 实例组名称只能包含字母、数字、下划线（）、中划线（）和空格，仅以字母、数字、下划线（）或中划线（）开头，只能在中间包含空格，并且不能超过99个字符。 角色 表示实例组包含哪个角色的实例。 复制源 指从指定的实例组复制配置值到新组，若为空，则新组对应的各配置值为系统默认值。 描述 只可以包含汉字、英文字母、数字、中英文逗号、中英文句号、下划线（）、空格和换行符，并且不能超过200个字符。 说明 每个实例必须且只能属于一个实例组，实例首次安装时默认属于的实例组为“ 角色名 DEFAULT”。 多余或者不再使用的实例组可以删除，删除前需要将组内的实例全部迁移至其他实例组，然后参照下方“删除实例组”对实例组进行删除，系统默认的实例组不可删除。 5. 单击“确定”完成创建实例组。

本章节主要介绍翼MapReduce的管理监控指标数据报表功能。 操作场景 FusionInsight Manager支持用户自定义在主页进行展示的监控项，也可以导出监控数据。 说明 历史报表根据所自定义的时间长度不同，图表横轴中每个时间间隔也会不同，具体监控数据的规则如下： 0～25小时：每个间隔5分钟，要求集群至少安装10分钟以上，最多保留15天监控数据。 25小时～150小时：每个间隔30分钟，要求集群至少安装30分钟以上，最多保留3个月监控数据。 150小时～300小时：每个间隔1小时，要求集群至少安装1小时以上，最多保留3个月监控数据。 300小时～300天：每个间隔1天，要求集群至少安装1天以上，最多保留6个月监控数据。 300天以上：每个间隔7天，要求集群安装7天以上，最多保留一年的监控数据。 如果FusionInsight Manager存储所用的GaussDB所在分区的磁盘使用率超过80%时，会清理实时监控数据和周期为5分钟的监控数据。 若为“租户资源”下的“存储资源(HDFS)”表，0小时～300小时：每个间隔1小时，要求集群至少安装1小时以上，最多保留3个月监控数据。 自定义监控指标报表 1. 登录FusionInsight Manager。 2. 单击“主页”。 3. 在图表区的右上角，单击，在弹出菜单中选择“定制”。 4. 在窗口左侧分类中，选择一项监控资源主体。 5. 在右侧监控列表勾选一个或多个监控指标。 6. 单击“确定”。 说明 监控时段以5分钟为单位，显示最近1小时的监控数据；从进入“实时监控”页面后，在监控图右侧以5分钟为单位显示实时监控数据。

本章节主要介绍翼MapReduce的管理租户目录操作。 操作场景 管理员通过FusionInsight Manager管理指定租户使用的HDFS存储目录，能根据业务需求对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加具有HDFS存储资源的租户。 查看租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS存储”表格。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额 ”列表示租户目录的存储空间大小。 添加租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击需要修改HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，单击“添加目录”。 “父目录”，表示当前租户对应父租户的存储目录。 说明 当前租户不是子租户则不显示此参数。 “路径”，填写租户目录的路径。 说明 当前租户不是子租户则新路径将在HDFS的根目录下创建。 “文件目录数上限”填写文件和目录数量配额。 文件数阈值配置（%），只有设置了“文件目录数上限”才会生效。表示当已使用的文件数超过了设置的“文件目录数上限”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 当前已使用的文件数的数据采集周期为1个小时，因此超过文件数阈值的告警上报会存在延迟。 “存储空间配额”，填写租户目录的存储空间大小。 存储空间阈值配置（%），表示已使用存储空间超过了设置的“存储空间配额”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 5. 单击“确定”完成租户目录添加。

与分布式缓存服务（DCS）的关系 分布式缓存服务（Distributed Cache Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DCS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。 与文档数据库服务（DDS）的关系 文档数据库服务（Document Database Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DDS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DDS表中。 与翼MapReduce服务（MRS）的关系 MapReduce服务（MapReduce Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从MRS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到MapReduce服务表中。 与数据治理中心的关系 在数据湖治理中心（Data Lake Governance Center）中，数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。

本章主要介绍翼MapReduce的更新集群密钥功能。 操作场景 在安装集群时，系统将自动生成加密密钥key值以对集群的部分安全信息（例如所有数据库用户密码、密钥文件访问密码等）进行加密存储。在集群安装成功后，如果原始密钥不慎意外泄露或者需要使用新的密钥，系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群密钥后，集群中新增加一个随机生成的新密钥，用于加密解密新保存的数据。旧的密钥不会删除，用于解密旧的加密数据。在修改安全信息后，例如修改数据库用户密码，新密码将使用新的密钥加密。 更新集群密钥需要停止集群，集群停止时无法访问。 前提条件 已确认主备管理节点IP。请参见登录管理节点。 停止依赖集群运行的上层业务应用。 操作步骤 1.登录FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 停止”，输入当前登录的用户密码确认身份。 在确认停止的对话框单击“确定”，等待界面提示停止成功。 3.以omm用户登录主管理节点。 4.执行以下命令，防止超时退出。 TMOUT0 说明 执行完本章节操作后，请及时恢复超时退出时间，执行命令 TMOUT 超时退出时间 。例如： TMOUT600 ，表示用户无操作600秒后超时退出。 5.执行以下命令，切换目录。 cd ${BIGDATAHOME}/omserver/om/tools 6.执行以下命令，更新集群密钥。 sh updateRootKey.sh 根据界面提示，输入 y ： The root key update is a critical operation. Do you want to continue?(y/n): 界面提示以下信息表示更新密钥成功： Step 41: The key save path is obtained successfully. ... Step 44: The root key is sent successfully. 7.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 启动”。 在弹出窗口中单击“确定”，等待界面提示启动成功。

本章主要介绍翼MapReduce的备份HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。

本章节主要介绍翼MapReduce的隔离主机操作。 操作场景 某个主机出现异常或故障，无法提供服务或影响集群整体性能时，可以临时将主机从集群可用节点排除，使客户端访问其他可用的正常节点。 说明 隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止，且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后部分服务的实例不再工作，服务的配置状态可能过期。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 待操作节点的SSH端口需保持默认（22），否则将导致本章节任务操作失败。 操作步骤 1. 登录FusionInsight Manager。 2. 单击“主机”。 3. 勾选待隔离主机前的复选框。 4. 在“更多”选择“隔离”。 在弹出窗口中，输入当前登录的用户密码确认管理员身份，单击“确定”。 5. 在确认隔离的对话框中勾选“我确定隔离所选主机，接受可能出现的服务故障等后果。”单击“确定”。 界面提示“操作成功。”，单击“完成”，主机成功隔离，“运行状态”显示为“已隔离”。 6. 以root用户登录到被隔离主机上，执行pkill 9 u omm命令终止节点上的omm用户的进程，然后执行ps ef grep 'container' grep '${BIGDATAHOME}' awk '{print $2}' xargs I '{}' kill 9 '{}'命令查找并终止container的进程。 7. 管理员已排除主机的异常或故障后，需要将主机隔离状态取消才能继续使用该主机。 在“主机”界面勾选已隔离的主机，选择“更多 > 取消隔离”。 说明 取消隔离后，主机上所有角色实例默认不启动。若需要启动主机上角色实例，可以在“主机”页面勾选目标主机，然后选择“更多 > 启动所有实例”。

本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后，需要为Yarn任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。 该任务指导系统管理员通过FusionInsight Manager配置队列策略。使用Superior调度器的租户队列，可以配置使用不同资源池的资源。 前提条件 已登录FusionInsight Manager。 已添加资源池。 任务队列不与其他队列相关联资源池，除了默认资源池。 操作步骤 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“资源分布策略”页签。 4. “集群”参数选择待操作的集群名称，然后在“资源池”选择指定的资源池。 5. 在“资源分配”列表指定队列的“操作”列，单击“修改”。 6. 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。 “权重”：表示租户能获得的资源。其初始值与最小资源百分比值一致。 “最小资源”：表示租户能获得的最少资源。 “最大资源”：表示租户能获得的最多资源。 “预留资源”：表示保留给租户自身队列，且不能借用给其他租户队列的资源。 7. 在“修改资源分配”窗口的“用户策略”页签设置用户策略。 说明 defaultUser(builtin)表示如果一个用户未配置策略，则默认使用defaultUser所指定的策略。该策略不可删除。 单击“添加用户策略”添加用户策略。 − “用户名”：表示用户的名称。 − “权重”：表示用户能获得的资源。 − “最多核数”：表示用户最多可以使用的虚拟核数。 − “最大内存”：表示用户最大可以使用的内存。 单击“操作”列的“修改”修改现有用户策略。 单击“操作”列的“清除”删除现有用户策略。 8. 单击“确定”保存配置。

本文为您介绍如何使用Curl命令向天翼云云搜索服务OpenSearch实例导入数据。 Curl是一个用于与Web服务器进行交互的命令行工具，可以直接发送HTTP请求与OpenSearch通信。 适用场景 快速脚本化操作：对于批量操作、简单的查询和数据导入，Curl结合Bash脚本可以快速实现自动化任务。 轻量级客户端：不需要安装任何客户端库，只要有HTTP请求能力，Curl就能与OpenSearch交互。 临时操作：适用于快速执行临时任务或小规模的数据操作，比如单条数据的插入、查询、删除等。 前提条件 已经开通天翼云云搜索OpenSearch实例。 能够通过Curl命令行连通OpenSearch实例。 使用Curl命令导入数据 导入单条数据 使用Curl可以通过HTTP POST请求将数据导入到OpenSearch的指定索引中。 plaintext curl X POST " H "ContentType: application/json" d' { "title": "通过curl导入数据", "content": "curl是一款命令行工具，可以与OpenSearch进行交互...", "date": "20240823" }' 执行以上命令后，你会收到OpenSearch返回的JSON响应，包含导入数据的id等信息。 批量导入数据 使用Curl也可以通过Bulk API实现批量数据导入。以下是一个简单的示例： plaintext curl X POST " H "ContentType: application/json" d' {"index":{"index":"articles"}} {"title":"文章一","content":"是第一篇文章的内容...","date":20240823"} {"index":{"index":"articles"}} {title":"文二","content":"这是第二篇文章的内容...","date":"20240823"}' 在这个示例中，每个文档都以 {"index":{"index":"articles"}} 作为前缀，后跟实际的数据内容。每条数据之间要用换行符分隔。

本文为您介绍如何使用Curl命令向天翼云云搜索服务Elasticsearch实例导入数据。 Curl 是一个用于与Web服务器进行交互的命令行工具，可以直接发送HTTP请求与Elasticsearch通信。 适用场景 快速脚本化操作：对于批量操作、简单的查询和数据导入，Curl结合Bash脚本可以快速实现自动化任务。 轻量级客户端：不需要安装任何客户端库，只要有HTTP请求能力，Curl就能与Elasticsearch交互。 临时操作：适用于快速执行临时任务或小规模的数据操作，比如单条数据的插入、查询、删除等。 前提条件 已经开通天翼云云搜索Elasticsearch实例。 能够通过Curl命令行连通Elasticsearch实例。 使用Curl命令导入数据 1. 导入单条数据，使用Curl可以通过HTTP POST请求将数据导入到Elasticsearch的指定索引中。 plaintext curl X POST " H "ContentType: application/json" d' { "title": "通过curl导入数据", "content": "curl是一款命令行工具，可以与Elasticsearch进行交互...", "date": "20240823" }' 执行以上命令后，你会收到Elasticsearch返回的JSON响应，包含导入数据的id等信息。 2. 批量导入数据，使用Curl也可以通过Bulk API实现批量数据导入。以下是一个简单的示例： plaintext curl X POST " H "ContentType: application/json" d' {"index":{"index":"articles"}} {"title":"文章一","content":"是第一篇文章的内容...","date":20240823"} {"index":{"index":"articles"}} {title":"文二","content":"这是第二篇文章的内容...","date":"20240823"}' 在这个示例中，每个文档都以{"index":{"index":"articles"}}作为前缀，后跟实际的数据内容。每条数据之间要用换行符分隔。

本章节主要介绍翼MapReduce 的配置监控与告警阈值功能。 操作场景 配置监控与告警阈值用于关注各指标的健康情况。勾选“发送告警”后，当监控数据达到告警阈值，系统将会触发一条告警信息，将在“告警管理”中出现此告警信息。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下，单击“阈值配置”，依据规划选择监控指标并设置其基线。 2. 单击某一指标例如“CPU使用率”，单击“添加规则”。 3. 在“配置”对话框中填写监控指标规则参数。 详见下表：监控指标规则参数 参数名 参数解释 参数值 规则名称 规则名称 CPUMAX（举例） 参考日期 查看某指标的历史参考数据 2014/11/06（举例） 阈值类型 选择某指标的最大值或最小值，类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警，类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 l 最大值 l 最小值 告警级别 告警级别 l 致命 l 严重 l 一般 l 提示 时间范围 设置规则生效时监控指标的具体时间段 从00:00到23:59（举例） 阈值 设置规则监控指标的阈值 设置数值80（举例） 日期 设置规则生效的日期类型 l 工作日 l 周末 l 其它 添加日期 日期选择“其他”时该参数生效。可选择多个日期。 11/30（举例） 4. 单击“确定”。界面右上角弹出提示“模板保存成功。”。 “发送告警”默认已勾选。Manager会检查监控指标数值是否满足阈值条件，若连续检查且不满足的次数等于“平滑次数”设置的值则发送告警，支持自定义。“检查周期(秒)”表示Manager检查监控指标的时间间隔。 5. 在新添加规则所在的行，单击“操作”下的“应用”，界面右上角弹出提示规则xx应用成功，完成添加。单击“操作”下的“取消应用”，界面右上角弹出提示规则xx取消成功。

本章节主要介绍翼MapReduce的服务详情操作。 总览 登录FusionInsight Manager以后，选择“集群 > 待操作集群的名称 > 服务”，在服务列表单击指定的服务名称打开服务详情页面，包含“概览”、“实例”、“实例组”和“配置”等页面，以及功能区。部分服务还支持显示自定义的管理工具页面，具体支持列表如下表所示。 自定义管理工具名称一览表 工具名称 对应服务 说明 Flume配置工具 Flume 用于为Flume的服务端和客户端配置采集参数。 Flume客户端管理工具 Flume 查看Flume客户端监控信息。 Kafka Topic监控工具 Kafka 用于为Kafka的Topic提供监控与管理。 其中“概览”为默认页，包含基本信息、角色列表、依赖关系表和监控图表等，右上角可对服务进行管理，基本管理如启动、停止、滚动重启、同步配置请参考上表，其他服务管理操作如下表所示： 服务管理操作 操作入口 说明 “更多 > 健康检查” 为当前服务进行健康检查，健康检查可以包含三方面检查项：各检查对象的“健康状态”、相关的告警和自定义的监控指标，检查结果并不能等同于界面上显示的“运行状态”。健康检查的结果可直接在检查列表左上角单击“导出报告”，选择导出结果。如果发现问题，可以单击“查看帮助”。 “更多 > 下载客户端” 为用户下载默认的仅包含具体服务的客户端，通过客户端执行管理操作、运行业务或进行二次开发，具体可参考下载客户端。 “更多 > 修改服务名称” 修改当前服务名称。 “更多 > 执行角色名称倒换” 具体请参考执行角色实例主备倒换。 “更多 > 进入维护模式/退出维护模式” 配置服务进入/退出维护模式。 “配置 > 导入/导出” 在迁移服务到新集群场景或者重新部署相同服务的场景下，为具体服务的所有配置数据做导入或者导出操作，实现配置结果的快速复制。

本章主要介绍翼MapReduce的恢复HDFS业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HDFS进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录（例如“/tmp/logs”、“/tmp/archived”、“/tmp/hadoopyarn/staging”），不能进行HDFS恢复操作，否则进行恢复的Distcp任务会由于文件丢失而导致恢复失败。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HDFS的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HDFS备份文件保存路径。 停止HDFS的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节主要介绍翼MapReduce的管理租户目录操作。 操作场景 管理员通过FusionInsight Manager管理指定租户使用的HDFS存储目录，能根据业务需求对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加具有HDFS存储资源的租户。 查看租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS存储”表格。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额 ”列表示租户目录的存储空间大小。 添加租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击需要修改HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，单击“添加目录”。 “父目录”，表示当前租户对应父租户的存储目录。 说明 当前租户不是子租户则不显示此参数。 “路径”，填写租户目录的路径。 说明 当前租户不是子租户则新路径将在HDFS的根目录下创建。 “文件目录数上限”填写文件和目录数量配额。 文件数阈值配置（%），只有设置了“文件目录数上限”才会生效。表示当已使用的文件数超过了设置的“文件目录数上限”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 当前已使用的文件数的数据采集周期为1个小时，因此超过文件数阈值的告警上报会存在延迟。 “存储空间配额”，填写租户目录的存储空间大小。 存储空间阈值配置（%），表示已使用存储空间超过了设置的“存储空间配额”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 已使用的存储空间的数据采集周期为1个小时，因此超过存储空间阈值的告警上报会存在延迟。 5. 单击“确定”完成租户目录添加。