功能 说明 通过配置IP黑/白名单，全站加速边缘节点可以识别客户端IP，拒绝黑名单中IP的访问，或者放行白名单中IP的访问，可以解决恶意IP攻击等问题。 Referer防盗链功能，是通过设置HTTP请求头中Referer字段的黑白名单来实现访问控制策略的，从而能可以对用户的身份进行识别和筛选，防止网站资源被盗用。配置Referer防盗链功能后，全站加速边缘节点会根据Referer黑/白名单中的内容，允许合法访问、拒绝非法请求。拒绝访问时，全站加速节点会返回403状态码。 UserAgent（简称UA）是HTTP请求头的组成部分之一，包含访客使用的浏览器类型及版本、操作系统及版本等信息。因此UserAgent是访客身份的象征，标志访客访问时所使用的工具。通过识别HTTP请求中的UserAgent字段中包含的部分信息，可以规范访客的行为，拦截或允许某一类访客的访问，实现防盗链、防盗刷、防攻击的目的。 URL黑白名单是网络安全管理中的一种重要机制，主要用于控制用户对特定资源的访问权限。 为了防止站点资源被恶意下载或者非法盗用，避免产生不必要的带宽浪费，可以配置URL鉴权功能。配置URL鉴权后，全站加速产品会对加密串及时间戳进行校验，从而有效地保护用户站点资源。 可以通过配置远程同步鉴权功能，在全站加速节点收到用户请求后，将请求转发回提前设定的鉴权源站，在源站鉴权许可后，全站加速节点才给用户返回对应内容，从而实现用户鉴权规则由源站全权定义。 天翼云全网带宽控制功能可通过设置单个域名或多个域名的总带宽值来控制带宽总用量，避免因带宽突发带来更多的带宽费用。 全站加速的有序回源功能是一种流量求并发回源时控制方法，用于大量请的排队管理。 单请求限速功能可以限制全站加速节点响应给用户的下行速率，从而减少域名的整体带宽，节省成本。 IP访问限频功能可以限制单个用户IP在天翼云全站加速单台服务器上的请求频次，防御CC攻击，防止恶意用户盗刷。

本章节主要介绍翼MapReduce的分配机架操作。 操作场景 大型集群的所有主机通常分布在多个机架上，不同机架间的主机通过交换机进行数据通信，且同一机架上的不同机器间的网络带宽要远大于不同机架机器间的网络带宽。在这种情况下网络拓扑规划应满足以下要求： 为了提高通信速率，希望不同主机之间的通信能够尽量发生在同一个机架之内，而不是跨机架。 为了提高容错能力，分布式服务的进程或数据需要尽可能存在多个机架的不同主机上。 Hadoop使用一种类似于文件目录结构的方式来表示主机。两层网络的集群如下图所示，Node1的Rack建议设置为 /Switch1/Rack1 ，Node4的Rack建议设置为 /Switch1/Rack2 。 两层网络结构 由于HDFS不能自动判断集群中各个DataNode的网络拓扑情况，管理员需设置机架名称来确定主机所处的机架，NameNode才能绘出DataNode的网络拓扑图，并尽可能将DataNode的数据备份在不同机架中。同理，YARN需要获取机架信息，在可允许的范围内将任务分配给不同的NodeManager执行。 当集群网络拓扑发生变化时，需要使用FusionInsight Manager为主机重新分配机架，相关服务才会自动调整。 对系统的影响 修改主机机架名称，将影响HDFS的副本存放策略、Yarn的任务分配及Kafka的Partition存储位置。修改后需重启HDFS、Yarn和Kafka，使配置信息生效。 不合理的机架配置会导致集群的节点之间的负载（包括CPU、内存、磁盘、网络）不平衡，降低集群的可靠性，影响集群的稳定运行。所以在分配机架之前，需要进行全局的统筹，合理地设置机架。

与分布式缓存服务（DCS）的关系 分布式缓存服务（Distributed Cache Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DCS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DCS表中。 与文档数据库服务（DDS）的关系 文档数据库服务（Document Database Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从DDS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到DDS表中。 与翼MapReduce服务（MRS）的关系 MapReduce服务（MapReduce Service）作为数据湖探索的数据来源及数据存储，与数据湖探索配合一起使用，关系有如下两种。 • 数据来源：数据湖探索服务提供DataFrame和SQL方式从MRS中导入数据到数据湖探索。 • 存储查询结果：数据湖探索使用标准SQL的Insert语法将日常作业的查询结果数据存放到MapReduce服务表中。 与数据治理中心的关系 在数据湖治理中心（Data Lake Governance Center）中，数据开发是一个一站式的大数据协同开发平台，提供全托管的大数据调度能力。它可管理多种大数据服务，极大降低用户使用大数据的门槛，帮助用户快速构建大数据处理中心。

本章节主要介绍翼MapReduce的管理实例配置操作。 操作场景 每个单独的角色实例可以修改配置参数在迁移实例到新集群场景或者重新部署相同服务的场景下，管理员可以在FusionInsight Manager中将某服务所有配置数据导入或者导出，实现配置结果的快速复制。 FusionInsight Manager支持管理单个角色实例的配置参数，修改配置参数、导出实例配置或导入实例配置时不影响其他实例。 对系统的影响 修改角色实例配置后，如果实例状态为“配置过期”，则需要重启此实例。重启时对应的实例不可用。 修改实例配置 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作的集群名称 > 服务”。 3. 单击服务视图中指定的服务名称，并选择“实例”页签。 4. 单击指定的实例，选择“实例配置”。 默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将显示该实例支持的所有参数分类。 5. 在导航树选择指定的参数分类，并在右侧修改参数值。 不确定参数的具体位置时，支持在右上角输入参数名，Manager将实时进行搜索并显示结果。 6. 单击“保存”，并在确认对话框中单击“确定”。 等待界面提示“操作成功”，单击“完成”，配置已修改。 说明 角色实例配置参数修改后，如果实例状态为“配置过期”则需要重启此实例，可在“实例”页面勾选“配置过期”的实例，选择“更多 > 重启实例”。 导出导入实例配置 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中待操作的服务名称，并选择“实例”页签。 4. 单击待操作的实例，选择“实例配置”。 5. 单击“导出”，导出配置参数文件到本地。 6. 在实例配置页面单击“导入”，在弹出的配置文件选择框中定位到实例的配置参数文件，即可导入所有配置。

本章节主要介绍翼MapReduce的管理实例组操作。 操作场景 FusionInsight Manager支持对多个实例组的管理功能，即用户可以按照具有相同硬件配置的节点或者其他原则将同一角色内的多个实例进行分组。针对实例组进行的配置参数修改，将同时对组内所有的实例生效。 在大集群场景中，通过实例组将提升大集群下异构环境批量实例的管理能力，分配好实例组后，后续可反复配置，减少实例配置项的冗余，提升系统性能。 创建实例组 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中待操作的服务名称。 4. 选择“实例组”。 单击，按照界面提示填写参数。 实例组配置参数 参数名 说明 组名称 实例组名称只能包含字母、数字、下划线（）、中划线（）和空格，仅以字母、数字、下划线（）或中划线（）开头，只能在中间包含空格，并且不能超过99个字符。 角色 表示实例组包含哪个角色的实例。 复制源 指从指定的实例组复制配置值到新组，若为空，则新组对应的各配置值为系统默认值。 描述 只可以包含汉字、英文字母、数字、中英文逗号、中英文句号、下划线（）、空格和换行符，并且不能超过200个字符。 说明 每个实例必须且只能属于一个实例组，实例首次安装时默认属于的实例组为“ 角色名 DEFAULT”。 多余或者不再使用的实例组可以删除，删除前需要将组内的实例全部迁移至其他实例组，然后参照下方“删除实例组”对实例组进行删除，系统默认的实例组不可删除。 5. 单击“确定”完成创建实例组。

本章节主要介绍翼MapReduce的管理监控指标数据报表功能。 操作场景 FusionInsight Manager支持用户自定义在主页进行展示的监控项，也可以导出监控数据。 说明 历史报表根据所自定义的时间长度不同，图表横轴中每个时间间隔也会不同，具体监控数据的规则如下： 0～25小时：每个间隔5分钟，要求集群至少安装10分钟以上，最多保留15天监控数据。 25小时～150小时：每个间隔30分钟，要求集群至少安装30分钟以上，最多保留3个月监控数据。 150小时～300小时：每个间隔1小时，要求集群至少安装1小时以上，最多保留3个月监控数据。 300小时～300天：每个间隔1天，要求集群至少安装1天以上，最多保留6个月监控数据。 300天以上：每个间隔7天，要求集群安装7天以上，最多保留一年的监控数据。 如果FusionInsight Manager存储所用的GaussDB所在分区的磁盘使用率超过80%时，会清理实时监控数据和周期为5分钟的监控数据。 若为“租户资源”下的“存储资源(HDFS)”表，0小时～300小时：每个间隔1小时，要求集群至少安装1小时以上，最多保留3个月监控数据。 自定义监控指标报表 1. 登录FusionInsight Manager。 2. 单击“主页”。 3. 在图表区的右上角，单击，在弹出菜单中选择“定制”。 4. 在窗口左侧分类中，选择一项监控资源主体。 5. 在右侧监控列表勾选一个或多个监控指标。 6. 单击“确定”。 说明 监控时段以5分钟为单位，显示最近1小时的监控数据；从进入“实时监控”页面后，在监控图右侧以5分钟为单位显示实时监控数据。

本章节主要介绍翼MapReduce的管理租户目录操作。 操作场景 管理员通过FusionInsight Manager管理指定租户使用的HDFS存储目录，能根据业务需求对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加具有HDFS存储资源的租户。 查看租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS存储”表格。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额 ”列表示租户目录的存储空间大小。 添加租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击需要修改HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，单击“添加目录”。 “父目录”，表示当前租户对应父租户的存储目录。 说明 当前租户不是子租户则不显示此参数。 “路径”，填写租户目录的路径。 说明 当前租户不是子租户则新路径将在HDFS的根目录下创建。 “文件目录数上限”填写文件和目录数量配额。 文件数阈值配置（%），只有设置了“文件目录数上限”才会生效。表示当已使用的文件数超过了设置的“文件目录数上限”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 当前已使用的文件数的数据采集周期为1个小时，因此超过文件数阈值的告警上报会存在延迟。 “存储空间配额”，填写租户目录的存储空间大小。 存储空间阈值配置（%），表示已使用存储空间超过了设置的“存储空间配额”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 5. 单击“确定”完成租户目录添加。

企业用户可以通过对公账户打款方式进行实名认证，本文讲述了对公账户打款认证流程。 对公账户打款认证需要您提供一个公司的对公银行账号，天翼云将通过中国银联向此账号里转入随机金额，您在天翼云实名认证页面准确输入到账金额后，即可完成认证。一个企业信息最多可以认证5个天翼云账号（含已注销3个月内的账号）。 注意事项 请准备好企业的银行对公账户。 确保该账户可用，天翼云将向该账户打款。 确保您能直接或间接查询该账户打款信息，需要接收并提交到账金额。 操作步骤 1、登录天翼云官网，进入实名认证页面。 2、选择“企业认证”。 3、在企业认证方式选择页面，选择“对公账户打款认证”。 4、根据页面提示，填写企业信息和银行对公账户信息。 注意 增值税专用发票抬头默认为单位名称，请与贵公司财务人员核实，确保与在税务机关预留的登记信息保持一致，以免影响发票的后续使用。如果选择开户行时，没有找到对应的银行，说明天翼云目前尚不支持向该银行打款。 5、核实您的身份 （1）法定代表人 选择法定代表人操作时，需要填写法定代表人姓名、身份证号码。 （2）被授权人（非法定代表人） 选择被授权人操作时，需要填写法定代表人姓名、授权书、被授权人姓名及身份证号码。 6、身份信息填写无误后，勾选“确保提供的信息真实有效”，并点击下方“下一步”，系统会弹出“身份认证”二维码对话窗。 7、使用天翼云APP或手机微信扫描二维码（请扫描页面实时弹出的“身份认证”对话框中的二维码，若过期请刷新），按照提示完成验证。 8、人脸识别通过后，系统进行信息校验，根据校验情况反馈结果。 （1）法定代表人操作 校验通过，则进入下一步。 校验不通过，如信息不一致，则需要修改信息，重新提交申请。 （2）被授权人操作（非法定代表人） 校验通过，提交后需要等待人工审核，审核时间为13个工作日。 校验不通过，如信息不一致，则需要修改信息，重新提交申请。 人工审核通过，则进入下一步；人工审核不通过，可在实名认证页面查看原因，调整后重新提交申请。 9、信息提交成功后，天翼云将通过中国银联向您的对公账户转入随机金额（0.01元~0.5元，预计将在02天内到账）。 10、请您及时关注并联系对公账户管理员，通过网上银行、手机银行、银行柜台等方式查询到账金额后，您可再回到实名认证页面，输入到账金额，单击“提交认证”，若到账金额输入正确且在有效期内则验证通过，完成实名认证。 说明 随机金额打款账户信息如下： 账户名称：银联商务支付股份有限公司 开户行：银联商务备付金账户 账号：215500709 银行对公账户认证申请7天内有效，超过7天请重新提交认证信息。

运营商 运营商编码 :: 中国电信 001 中国联通 002 中国移动 003 中国铁通 004 教育网 005 鹏博士 006

运营商 运营商编码（string型） 中国电信 001 中国联通 002 中国移动 003 中国铁通 004 教育网 005 鹏博士 006

本章主要介绍翼MapReduce的更新集群密钥功能。 操作场景 在安装集群时，系统将自动生成加密密钥key值以对集群的部分安全信息（例如所有数据库用户密码、密钥文件访问密码等）进行加密存储。在集群安装成功后，如果原始密钥不慎意外泄露或者需要使用新的密钥，系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群密钥后，集群中新增加一个随机生成的新密钥，用于加密解密新保存的数据。旧的密钥不会删除，用于解密旧的加密数据。在修改安全信息后，例如修改数据库用户密码，新密码将使用新的密钥加密。 更新集群密钥需要停止集群，集群停止时无法访问。 前提条件 已确认主备管理节点IP。请参见登录管理节点。 停止依赖集群运行的上层业务应用。 操作步骤 1.登录FusionInsight Manager。 2.选择“集群 > 待操作集群的名称 > 停止”，输入当前登录的用户密码确认身份。 在确认停止的对话框单击“确定”，等待界面提示停止成功。 3.以omm用户登录主管理节点。 4.执行以下命令，防止超时退出。 TMOUT0 说明 执行完本章节操作后，请及时恢复超时退出时间，执行命令 TMOUT 超时退出时间 。例如： TMOUT600 ，表示用户无操作600秒后超时退出。 5.执行以下命令，切换目录。 cd ${BIGDATAHOME}/omserver/om/tools 6.执行以下命令，更新集群密钥。 sh updateRootKey.sh 根据界面提示，输入 y ： The root key update is a critical operation. Do you want to continue?(y/n): 界面提示以下信息表示更新密钥成功： Step 41: The key save path is obtained successfully. ... Step 44: The root key is sent successfully. 7.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 启动”。 在弹出窗口中单击“确定”，等待界面提示启动成功。

本章主要介绍翼MapReduce的备份HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份HBase任务并备份元数据。支持创建任务自动或手动备份数据。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份的类型、周期和策略等规格，并检查主备管理节点“ 数据存放路径 /LocalBackup/”是否有充足的空间。 如果数据要备份至NAS中，需要提前部署好NAS服务端。 HBase的“fs.defaultFS”配置参数需要与Yarn、HDFS的配置保持一致。 如果HBase数据存储在本地HDFS，支持将HBase元数据备份到OBS。如果HBase数据存储在OBS，则不支持数据备份。 如果数据要备份至OBS中，需要当前集群已对接OBS，并具有访问OBS的权限。

本章节主要介绍翼MapReduce的隔离主机操作。 操作场景 某个主机出现异常或故障，无法提供服务或影响集群整体性能时，可以临时将主机从集群可用节点排除，使客户端访问其他可用的正常节点。 说明 隔离主机仅支持隔离非管理节点。 对系统的影响 主机隔离后该主机上的所有角色实例将被停止，且不能对主机及主机上的所有实例进行启动、停止和配置等操作。 主机隔离后部分服务的实例不再工作，服务的配置状态可能过期。 主机隔离后无法统计并显示该主机硬件和主机上实例的监控状态及指标数据。 待操作节点的SSH端口需保持默认（22），否则将导致本章节任务操作失败。 操作步骤 1. 登录FusionInsight Manager。 2. 单击“主机”。 3. 勾选待隔离主机前的复选框。 4. 在“更多”选择“隔离”。 在弹出窗口中，输入当前登录的用户密码确认管理员身份，单击“确定”。 5. 在确认隔离的对话框中勾选“我确定隔离所选主机，接受可能出现的服务故障等后果。”单击“确定”。 界面提示“操作成功。”，单击“完成”，主机成功隔离，“运行状态”显示为“已隔离”。 6. 以root用户登录到被隔离主机上，执行pkill 9 u omm命令终止节点上的omm用户的进程，然后执行ps ef grep 'container' grep '${BIGDATAHOME}' awk '{print $2}' xargs I '{}' kill 9 '{}'命令查找并终止container的进程。 7. 管理员已排除主机的异常或故障后，需要将主机隔离状态取消才能继续使用该主机。 在“主机”界面勾选已隔离的主机，选择“更多 > 取消隔离”。 说明 取消隔离后，主机上所有角色实例默认不启动。若需要启动主机上角色实例，可以在“主机”页面勾选目标主机，然后选择“更多 > 启动所有实例”。

本章节主要介绍翼MapReduce的配置资源池的队列容量策略操作。 操作场景 添加资源池后，需要为Yarn任务队列配置在此资源池中可使用资源的容量策略，队列中的任务才可以正常在这个资源池中执行。 该任务指导系统管理员通过FusionInsight Manager配置队列策略。使用Superior调度器的租户队列，可以配置使用不同资源池的资源。 前提条件 已登录FusionInsight Manager。 已添加资源池。 任务队列不与其他队列相关联资源池，除了默认资源池。 操作步骤 1. 在FusionInsight Manager，单击“租户资源”。 2. 单击“动态资源计划”页签。 3. 单击“资源分布策略”页签。 4. “集群”参数选择待操作的集群名称，然后在“资源池”选择指定的资源池。 5. 在“资源分配”列表指定队列的“操作”列，单击“修改”。 6. 在“修改资源分配”窗口的“资源配置策略”页签设置任务队列在此资源池中的资源配置策略。 “权重”：表示租户能获得的资源。其初始值与最小资源百分比值一致。 “最小资源”：表示租户能获得的最少资源。 “最大资源”：表示租户能获得的最多资源。 “预留资源”：表示保留给租户自身队列，且不能借用给其他租户队列的资源。 7. 在“修改资源分配”窗口的“用户策略”页签设置用户策略。 说明 defaultUser(builtin)表示如果一个用户未配置策略，则默认使用defaultUser所指定的策略。该策略不可删除。 单击“添加用户策略”添加用户策略。 − “用户名”：表示用户的名称。 − “权重”：表示用户能获得的资源。 − “最多核数”：表示用户最多可以使用的虚拟核数。 − “最大内存”：表示用户最大可以使用的内存。 单击“操作”列的“修改”修改现有用户策略。 单击“操作”列的“清除”删除现有用户策略。 8. 单击“确定”保存配置。

本节问您介绍自建Oracle迁移至中国电信TelePG任务配置。 目标端配置请参照自建Oracle迁移至自建PostgreSQL。

运营商 运营商编码 中国电信 001 中国联通 002 中国移动 003 中国铁通 004 教育网 005 鹏博士 006

本文为您介绍如何使用Curl命令向天翼云云搜索服务OpenSearch实例导入数据。 Curl是一个用于与Web服务器进行交互的命令行工具，可以直接发送HTTP请求与OpenSearch通信。 适用场景 快速脚本化操作：对于批量操作、简单的查询和数据导入，Curl结合Bash脚本可以快速实现自动化任务。 轻量级客户端：不需要安装任何客户端库，只要有HTTP请求能力，Curl就能与OpenSearch交互。 临时操作：适用于快速执行临时任务或小规模的数据操作，比如单条数据的插入、查询、删除等。 前提条件 已经开通天翼云云搜索OpenSearch实例。 能够通过Curl命令行连通OpenSearch实例。 使用Curl命令导入数据 导入单条数据 使用Curl可以通过HTTP POST请求将数据导入到OpenSearch的指定索引中。 plaintext curl X POST " H "ContentType: application/json" d' { "title": "通过curl导入数据", "content": "curl是一款命令行工具，可以与OpenSearch进行交互...", "date": "20240823" }' 执行以上命令后，你会收到OpenSearch返回的JSON响应，包含导入数据的id等信息。 批量导入数据 使用Curl也可以通过Bulk API实现批量数据导入。以下是一个简单的示例： plaintext curl X POST " H "ContentType: application/json" d' {"index":{"index":"articles"}} {"title":"文章一","content":"是第一篇文章的内容...","date":20240823"} {"index":{"index":"articles"}} {title":"文二","content":"这是第二篇文章的内容...","date":"20240823"}' 在这个示例中，每个文档都以 {"index":{"index":"articles"}} 作为前缀，后跟实际的数据内容。每条数据之间要用换行符分隔。

本文为您介绍如何使用Curl命令向天翼云云搜索服务Elasticsearch实例导入数据。 Curl 是一个用于与Web服务器进行交互的命令行工具，可以直接发送HTTP请求与Elasticsearch通信。 适用场景 快速脚本化操作：对于批量操作、简单的查询和数据导入，Curl结合Bash脚本可以快速实现自动化任务。 轻量级客户端：不需要安装任何客户端库，只要有HTTP请求能力，Curl就能与Elasticsearch交互。 临时操作：适用于快速执行临时任务或小规模的数据操作，比如单条数据的插入、查询、删除等。 前提条件 已经开通天翼云云搜索Elasticsearch实例。 能够通过Curl命令行连通Elasticsearch实例。 使用Curl命令导入数据 1. 导入单条数据，使用Curl可以通过HTTP POST请求将数据导入到Elasticsearch的指定索引中。 plaintext curl X POST " H "ContentType: application/json" d' { "title": "通过curl导入数据", "content": "curl是一款命令行工具，可以与Elasticsearch进行交互...", "date": "20240823" }' 执行以上命令后，你会收到Elasticsearch返回的JSON响应，包含导入数据的id等信息。 2. 批量导入数据，使用Curl也可以通过Bulk API实现批量数据导入。以下是一个简单的示例： plaintext curl X POST " H "ContentType: application/json" d' {"index":{"index":"articles"}} {"title":"文章一","content":"是第一篇文章的内容...","date":20240823"} {"index":{"index":"articles"}} {title":"文二","content":"这是第二篇文章的内容...","date":"20240823"}' 在这个示例中，每个文档都以{"index":{"index":"articles"}}作为前缀，后跟实际的数据内容。每条数据之间要用换行符分隔。

Kafka作为一款热门的消息队列中间件，具备高效可靠的消息异步传递机制，主要用于不同系统间的数据交流和传递，在企业解决方案、金融支付、电信、电子商务、社交、即时通信、视频、物联网、车联网等众多领域都有广泛应用。 异步通信 将业务中属于非核心或不重要的流程部分，使用消息异步通知的方式发给目标系统，这样主业务流程无需同步等待其他系统的处理结果，从而达到系统快速响应的目的。 如网站的用户注册场景，在用户注册成功后，还需要发送注册邮件与注册短信，这两个流程使用Kafka消息服务通知邮件发送系统与短信发送系统，从而提升注册流程的响应速度。 图 串行发送注册邮件与短信流程 图 借助消息队列异步发送注册邮件与短信流程 错峰流控与流量削峰 在电子商务系统或大型网站中，上下游系统处理能力存在差异，处理能力高的上游系统的突发流量可能会对处理能力低的某些下游系统造成冲击，需要提高系统的可用性的同时降低系统实现的复杂性。电商大促销等流量洪流突然来袭时，可以通过队列服务堆积缓存订单等信息，在下游系统有能力处理消息的时候再处理，避免下游订阅系统因突发流量崩溃。消息队列提供亿级消息堆积能力，3天的默认保留时长，消息消费系统可以错峰进行消息处理。 另外，在商品秒杀、抢购等流量短时间内暴增场景中，为了防止后端应用被压垮，可在前后端系统间使用Kafka消息队列传递请求。 图 消息队列应对秒杀大流量场景 日志同步 在大型业务系统设计中，为了快速定位问题，全链路追踪日志，以及故障及时预警监控，通常需要将各系统应用的日志集中分析处理。 Kafka设计初衷就是为了应对大量日志传输场景，应用通过可靠异步方式将日志消息同步到消息服务，再通过其他组件对日志做实时或离线分析，也可用于关键日志信息收集进行应用监控。 日志同步主要有三个关键部分：日志采集客户端，Kafka消息队列以及后端的日志处理应用。 1. 日志采集客户端，负责用户各类应用服务的日志数据采集，以消息方式将日志“批量”“异步”发送Kafka客户端。 Kafka客户端批量提交和压缩消息，对应用服务的性能影响非常小。 2. Kafka将日志存储在消息文件中，提供持久化。 3. 日志处理应用，如Logstash，订阅并消费Kafka中的日志消息，最终供文件搜索服务检索日志，或者由Kafka将消息传递给Hadoop等其他大数据应用系统化存储与分析。 图 日志同步示意图 上图中Logstash、ElasticSearch分别为日志分析和检索的开源工具，Hadoop表示大数据分析系统。

本章节主要介绍翼MapReduce 的配置监控与告警阈值功能。 操作场景 配置监控与告警阈值用于关注各指标的健康情况。勾选“发送告警”后，当监控数据达到告警阈值，系统将会触发一条告警信息，将在“告警管理”中出现此告警信息。 操作步骤 在MRS Manager，单击“系统设置”。 1. 在“配置”区域“监控和告警配置”下，单击“阈值配置”，依据规划选择监控指标并设置其基线。 2. 单击某一指标例如“CPU使用率”，单击“添加规则”。 3. 在“配置”对话框中填写监控指标规则参数。 详见下表：监控指标规则参数 参数名 参数解释 参数值 规则名称 规则名称 CPUMAX（举例） 参考日期 查看某指标的历史参考数据 2014/11/06（举例） 阈值类型 选择某指标的最大值或最小值，类型为“最大值”表示指标的实际值大于设置的阈值时系统将产生告警，类型为“最小值”表示指标的实际值小于设置的阈值时系统将产生告警。 l 最大值 l 最小值 告警级别 告警级别 l 致命 l 严重 l 一般 l 提示 时间范围 设置规则生效时监控指标的具体时间段 从00:00到23:59（举例） 阈值 设置规则监控指标的阈值 设置数值80（举例） 日期 设置规则生效的日期类型 l 工作日 l 周末 l 其它 添加日期 日期选择“其他”时该参数生效。可选择多个日期。 11/30（举例） 4. 单击“确定”。界面右上角弹出提示“模板保存成功。”。 “发送告警”默认已勾选。Manager会检查监控指标数值是否满足阈值条件，若连续检查且不满足的次数等于“平滑次数”设置的值则发送告警，支持自定义。“检查周期(秒)”表示Manager检查监控指标的时间间隔。 5. 在新添加规则所在的行，单击“操作”下的“应用”，界面右上角弹出提示规则xx应用成功，完成添加。单击“操作”下的“取消应用”，界面右上角弹出提示规则xx取消成功。

本章节主要介绍翼MapReduce的服务详情操作。 总览 登录FusionInsight Manager以后，选择“集群 > 待操作集群的名称 > 服务”，在服务列表单击指定的服务名称打开服务详情页面，包含“概览”、“实例”、“实例组”和“配置”等页面，以及功能区。部分服务还支持显示自定义的管理工具页面，具体支持列表如下表所示。 自定义管理工具名称一览表 工具名称 对应服务 说明 Flume配置工具 Flume 用于为Flume的服务端和客户端配置采集参数。 Flume客户端管理工具 Flume 查看Flume客户端监控信息。 Kafka Topic监控工具 Kafka 用于为Kafka的Topic提供监控与管理。 其中“概览”为默认页，包含基本信息、角色列表、依赖关系表和监控图表等，右上角可对服务进行管理，基本管理如启动、停止、滚动重启、同步配置请参考上表，其他服务管理操作如下表所示： 服务管理操作 操作入口 说明 “更多 > 健康检查” 为当前服务进行健康检查，健康检查可以包含三方面检查项：各检查对象的“健康状态”、相关的告警和自定义的监控指标，检查结果并不能等同于界面上显示的“运行状态”。健康检查的结果可直接在检查列表左上角单击“导出报告”，选择导出结果。如果发现问题，可以单击“查看帮助”。 “更多 > 下载客户端” 为用户下载默认的仅包含具体服务的客户端，通过客户端执行管理操作、运行业务或进行二次开发，具体可参考下载客户端。 “更多 > 修改服务名称” 修改当前服务名称。 “更多 > 执行角色名称倒换” 具体请参考执行角色实例主备倒换。 “更多 > 进入维护模式/退出维护模式” 配置服务进入/退出维护模式。 “配置 > 导入/导出” 在迁移服务到新集群场景或者重新部署相同服务的场景下，为具体服务的所有配置数据做导入或者导出操作，实现配置结果的快速复制。

本章主要介绍翼MapReduce的恢复HDFS业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HDFS进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HDFS进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HDFS任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HDFS数据。 对于Yarn任务运行时使用的目录（例如“/tmp/logs”、“/tmp/archived”、“/tmp/hadoopyarn/staging”），不能进行HDFS恢复操作，否则进行恢复的Distcp任务会由于文件丢失而导致恢复失败。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HDFS的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HDFS备份文件保存路径。 停止HDFS的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章介绍翼MapReduce的恢复HBase元数据功能。 操作场景 为了确保HBase元数据（主要包括tableinfo文件和HFile）安全，防止因HBase的系统表目录或者文件损坏导致HBase服务不可用，或者系统管理员需要对HBase系统表进行重大操作（如升级或迁移等）时，需要对HBase元数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 元数据恢复前，需要停止HBase服务，在这期间所有上层应用都会受到影响，无法正常工作。 元数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 元数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 检查HBase元数据备份文件保存路径。 恢复HBase元数据需要先停止HBase服务。 登录FusionInsight Manager，请参见登录管理系统。

本章主要介绍翼MapReduce的恢复HBase业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对HBase进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对HBase业务数据进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复HBase任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的HBase数据。 对系统的影响 恢复过程的数据还原阶段，系统会把待恢复的HBase表禁用，此时无法访问该表。还原阶段可能需要几分钟时间，此时HBase的上层应用无法正常工作。 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动HBase的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查HBase备份文件保存路径。 停止HBase的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节主要介绍翼MapReduce的管理租户目录操作。 操作场景 管理员通过FusionInsight Manager管理指定租户使用的HDFS存储目录，能根据业务需求对租户添加目录、修改目录文件数量配额、修改存储空间配额和删除目录。 前提条件 已添加具有HDFS存储资源的租户。 查看租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击目标的租户。 3. 单击“资源”页签。 4. 查看“HDFS存储”表格。 指定租户目录的“文件目录数上限”列表示文件和目录数量配额。 指定租户目录的“存储空间配额 ”列表示租户目录的存储空间大小。 添加租户目录 1. 在FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击需要修改HDFS存储目录的租户。 3. 单击“资源”页签。 4. 在“HDFS存储”表格，单击“添加目录”。 “父目录”，表示当前租户对应父租户的存储目录。 说明 当前租户不是子租户则不显示此参数。 “路径”，填写租户目录的路径。 说明 当前租户不是子租户则新路径将在HDFS的根目录下创建。 “文件目录数上限”填写文件和目录数量配额。 文件数阈值配置（%），只有设置了“文件目录数上限”才会生效。表示当已使用的文件数超过了设置的“文件目录数上限”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 当前已使用的文件数的数据采集周期为1个小时，因此超过文件数阈值的告警上报会存在延迟。 “存储空间配额”，填写租户目录的存储空间大小。 存储空间阈值配置（%），表示已使用存储空间超过了设置的“存储空间配额”的百分数后将会产生告警。不设置则不会根据实际使用情况上报告警。 说明 已使用的存储空间的数据采集周期为1个小时，因此超过存储空间阈值的告警上报会存在延迟。 5. 单击“确定”完成租户目录添加。

本章节主要介绍翼MapReduce组件Spark使用时的常见问题。 Spark 任务内存不足情况需要根据具体问题进行具体分析。 首先spark统一内存模型将内存分为offheap和heap两部分内存，每一个部分都可能发生内存不足的情况。 offheap内存不足的情况 offheap内存作用 为了进一步优化内存的使用以及提高 Shuffle 时排序的效率，Spark 引入了堆外（Offheap）内存，使之可以直接在工作节点的系统内存中开辟空间，存储经过序列化的二进制数据。 利用JDK Unsafe API（从 Spark 2.0 开始，在管理堆外的存储内存时不再基于 Tachyon，而是与堆外的执行内存一样，基于 JDK Unsafe API 实现），Spark 可以直接操作系统堆外内存，减少了不必要的内存开销，以及频繁的 GC 扫描和回收，提升了处理性能。堆外内存可以被精确地申请和释放，而且序列化的数据占用的空间可以被精确计算，所以相比堆内内存来说降低了管理的难度，也降低了误差。 offheap参数和动态扩展机制 Spark堆外内存的大小可以由spark.memory.offHeap.size控制，spark offheap空间只分为 execution 和 storage 1:1两部分，两部分可以动态扩展。 offheap不足 目前常用的offheap常见是 executor端，map task侧 shuffle时候，由于ShuffleExternalSorter占用内存过大，导致内存不足。 此外，在spark native场景中，spark将更多的使用 spark offheap内存取代heap内存，因此spark offheap在非shuffle场景下也会占用很多offheap内存。 如果存在offheap 内存不足警告，可以酌情添加spark.memory.offHeap.size 或者 降低shuffle 内存缓冲区大小。 heap内存不足的情况 spark将heap内存做如下分割 每一个部分超出使用上线都可能产生内存不足的情况。

本章节主要介绍翼MapReduce的修改服务自定义配置参数操作。 操作场景 MRS集群各个组件支持开源的所有参数，其中部分关键使用场景的参数支持在FusionInsight Manager界面进行修改，且部分组件的客户端可能不包含开源特性的所有参数。如果需要修改其他Manager未直接支持的组件参数，管理员可以在Manager通过自定义配置项功能为组件添加新参数。添加的新参数最终将保存在组件的配置文件中并在重启后生效。 对系统的影响 配置服务属性后，如果服务状态为“配置过期”，则需要重启此服务，重启期间该服务不可用。 修改服务配置参数并重启生效后，需要重新下载并安装客户端，或者下载配置文件刷新客户端。 前提条件 管理员已充分了解需要新添加的参数意义、生效的配置文件以及对组件的影响。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 选择“配置 > 全部配置”。 5. 在左侧导航栏定位到某个一级节点，并选择“自定义”，Manager将显示当前组件的自定义参数。 “参数文件”显示保存管理员新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数，设置不同参数值后生效结果由组件加载配置文件的顺序决定。自定义参数支持服务级别与角色级别，请根据业务实际需要选择。不支持单个角色实例添加自定义参数。 6. 在对应参数项所在行“名称”列输入组件支持的参数名，在“值”列输入此参数的参数值。 支持单击“＋”或“－”增加或删除一条自定义参数。 7. 单击“保存”，在弹出的“保存配置”窗口中确认修改参数，单击“确定”。界面提示“操作成功。”，单击“完成”，配置保存成功。 保存完成后请重新启动配置过期的服务或实例以使配置生效。

本章节主要介绍翼MapReduce的管理客户端操作。 操作场景 FusionInsight Manager支持统一管理集群的客户端安装信息，用户下载并安装客户端后，界面可自动记录已安装（注册）客户端的信息，方便查询管理。同时系统支持手动添加、修改未自动注册的客户端信息（如历史版本已安装的客户端）。 操作步骤 查看客户端信息 1. 登录FusionInsight Manager。 2. 选择“集群 >待操作集群的名称 > 客户端管理”，即可查看当前集群已安装的客户端信息。 用户可查看客户端所在节点的IP地址、安装路径、组件列表、注册时间及安装用户等信息。 在当前最新版本集群下载并安装客户端时，客户端信息会自动注册。 添加客户端信息 3. 如需手动添加已安装好的客户端信息，单击“添加”，根据界面提示手动添加客户端的IP地址、安装路径、用户、平台信息、注册信息等内容。 4. 配置好客户端信息，单击“确定”，添加成功。 修改客户端信息 5. 手动注册的客户端信息可以手动修改。 在“客户端管理”界面选择待修改的客户端，单击“修改”。修改信息后，单击“确定”完成修改。 删除客户端信息 6. 在“客户端管理”界面选择待删除的客户端，单击“删除”，在弹出的窗口中单击“确定”，即可删除客户端信息。 如需删除多个客户端信息，勾选待删除的客户端，单击“批量删除”，在弹出的窗口中单击“确定”，即可删除客户端信息。 导出客户端信息 7. 在“客户端管理”界面选择待操作的客户端，单击“导出全部”可导出所有已注册的客户端信息到本地。 说明 客户端管理界面上组件列表栏只展示有真实客户端的组件，因此部分没有客户端的组件和客户端特殊的组件不会显示在组件列表栏。 不显示的组件有： LdapServer、KrbServer、DBService、Hue、Mapreduce、Flume。 不显示的组件有： LdapServer、KrbServer、DBService、Hue、Mapreduce、Flume。

本章节主要介绍翼MapReduce的多租户管理页面概述操作。 统一的多租户管理 登录FusionInsight Manager，选择“租户资源 > 租户资源管理”，可以查看到FusionInsight Manager作为统一的多租户管理平台，集成了租户生命周期管理、租户资源配置、租户服务关联和租户资源使用统计等功能，为企业提供了成熟的多租户管理模型，实现集中式的租户和业务管理。 图形化的操作界面 FusionInsight Manager实现全图形化的多租户管理界面：通过树形结构实现多级租户的管理和操作，将当前租户的基本信息和资源配额集成在一个界面中，方便运维和管理，如下图所示多租户管理。 层级式的租户管理 FusionInsight Manager支持层级式的租户管理，可以为租户进一步添加子租户，实现资源的再次配置。一级租户下一级的子租户属于二级租户，以此类推。为企业提供了成熟的多租户管理模型，实现集中式的租户和业务管理。 简化的权限管理 FusionInsight Manager对普通用户封闭了租户内部的权限管理细节，对管理员简化了权限管理的操作方法，提升了租户权限管理的易用性和用户体验。 使用RBAC方式，在多租户管理时，可根据业务场景为各用户分别配置不同权限。 租户的管理员，具有租户的管理权限，包括：查看当前租户的资源和服务、在当前租户中添加/删除子租户并管理子租户资源的权限。支持定义单个租户的管理员，可以将租户的管理权限委托给系统管理员之外的其他用户。 租户对应的角色，具有租户的计算资源和存储资源的全部权限。创建租户时，系统自动创建租户对应的角色，可以添加用户并绑定该角色为其他用户授权，以使用该租户的资源。

本章节主要介绍翼MapReduce的修改OMS服务配置参数操作。 操作场景 根据用户环境的安全要求，管理员可以在FusionInsight Manager修改OMS中Kerberos与LDAP配置。 对系统的影响 修改OMS的服务配置参数后，需要重启对应的OMS模块，此时FusionInsight Manager将无法正常使用。 操作步骤 修改okerberos配置 1. 登录FusionInsight Manager，选择“系统 > OMS”。 2. 在okerberos所在行，单击“修改配置”。 3. 根据下表所示的说明修改参数。 okerberos参数配置一览表 参数名 说明 连接KDC最大时延（毫秒） 应用连接到Kerberos的超时时间，单位为毫秒，请填写整数值。 最大尝试次数 应用连接到Kerberos的最大重试次数，请填写整数值。 操作Ldap最大时延（毫秒） Kerberos连接LDAP的超时时间，单位为毫秒。 搜索Ldap最大时延（毫秒） Kerberos在LDAP查询用户信息的超时时间，单位为毫秒。 Kadmin监听端口 kadmin服务的端口。 KDC监听端口 kinit服务的端口。 Kpasswd监听端口 kpasswd服务的端口。 4. 单击“确定”。 在弹出窗口输入当前登录用户密码验证身份，单击“确定”，在确认重启的对话框中单击“确定”。 修改oldap配置 5. 在oldap所在行，单击“修改配置”。 6. 根据下表所示的说明修改参数。 oldap参数配置一览表 参数名 说明 Ldap服务监听端口 LDAP服务端口号。 7. 单击“确定”。 在弹出窗口输入当前登录用户密码验证身份，单击“确定”，在确认重启的对话框中单击“确定”。 说明 如果重置LDAP帐户口令需要重启ACS，操作步骤如下： 使用PuTTY，以omm用户登录主管理节点，执行以下命令更新域配置： sh ${BIGDATAHOME}/omserver/om/sbin/restartRealmConfig.sh复制 提示以下信息表示命令执行成功： Modify realm successfully. Use the new password to log into FusionInsight again.复制 执行 sh $CONTROLLERHOME/sbin/acscmd.sh stop ，停止ACS。 执行 sh $CONTROLLERHOME/sbin/acscmd.sh start ，启动ACS。

本章主要介绍翼MapReduce的解锁系统内部用功能。 操作场景 若服务出现异常状态，有可能是系统内部用户被锁定，请及时解锁，否则会影响集群正常运行。系统内部用户列表请参见用户帐号一览表。系统内部用户无法使用FusionInsight Manager解锁。 前提条件 根据用户帐号一览表获取LDAP管理员“cnroot,dchadoop,dccom”的默认密码。 操作步骤 1.使用以下方法确认系统内部用户是否被锁定： a.查询oldap端口： 登录FusionInsight Manager，选择“系统 > OMS > oldap > 修改配置”。 “Ldap服务监听端口”参数值即为oldap端口。 b.查询域名方法： 登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”。 “本端域”参数即为域名。 例如当前系统域名为“9427068F6EFA4833B43E60CB641E5B6C.COM”。 c.在集群内节点上以omm用户执行以下命令查询密码认证失败次数： ldapsearch H ldaps://OMS浮动IP地址:OLdap端口 LLL x D cnroot,dchadoop,dccom b krbPrincipalName系统内部用户名@当前域名,cn当前域名,cnkrbcontainer,dchadoop,dccom w LDAP管理员密码 e ppolicy grep krbLoginFailedCount 例如，查看oms/manager用户认证失败次数： ldapsearch H ldaps://10.5.146.118:21750 LLL x D cnroot,dchadoop,dccom b krbPrincipalNameoms/manager@9427068F6EFA4833B43E60CB641E5B6C.COM,cn9427068F6EFA4833B43E60CB641E5B6C.COM,cnkrbcontainer,dchadoop,dccom w cnroot,dchadoop,dccom 用户密码 e ppolicy grep krbLoginFailedCount krbLoginFailedCount: 5 d.登录FusionInsight Manager，选择“系统 > 权限 > 安全策略 > 密码策略”。 e.查看“密码连续错误次数”参数值，若小于等于“krbLoginFailedCount”参数值，则用户已被锁定。 说明 查看运行日志，也可以确认系统内部用户是否被锁定。 2.以omm用户登录主管理节点，执行以下命令解锁。 sh ${BIGDATAHOME}/omserver/om/share/om/acs/config/unlockuser.sh userName 系统内部用户名 例如， sh ${BIGDATAHOME}/omserver/om/share/om/acs/config/unlockuser.sh userName oms/manager

本章节主要介绍翼MapReduce的入服与退服实例操作。 操作场景 部分角色实例以分布式并行工作的方式对外部业务提供服务，服务会单独保存每个实例是否可以使用的信息，所以需要使用FusionInsight Manager为这些实例执行入服或退服的操作，变更实例的业务可用状态方式。 不支持该此功能的实例，默认无法执行任务。 说明 当前支持退服和入服操作的角色有：HDFS的DataNode、Yarn的NodeManager、HBase的RegionServer。 当DataNode数量少于或等于HDFS的副本数时，不能执行退服操作。若HDFS副本数为3时，则系统中少于4个DataNode，将无法执行退服，Manager在执行退服操作时会等待30分钟后报错并退出执行。 由于Mapreduce任务执行时，会生成一些副本数为10的文件，此时若DataNode实例数少于10时，将无法进行退服操作。 如果退服前，DataNode节点的机架数（机架数由各DataNode节点所配置的“机架”的名称数量决定）大于1；而退服部分DataNode后，剩余的DataNode节点的机架数变为1，则此次退服将会失败。所以需要在退服前评估退服操作对机架数的影响，以调整退服的DataNode节点。 在退服多个DataNode时，如果每个DataNode存储的数据量较大，如果执行选择多个DataNode同时退服，则很有可能会因超时而退服失败。为了避免这种情况，建议每次退服仅退服1个DataNode，进行多次退服操作。 操作步骤 1. DataNode节点退服前需要进行健康检查，步骤如下： 使用客户端用户登录客户端安装节点，并切换到客户端安装目录。 如果是安全集群，需要使用hdfs用户进行权限认证。 source bigdataenv