本章节主要介绍翼MapReduce组件Spark使用时的常见问题。 Spark 任务内存不足情况需要根据具体问题进行具体分析。 首先spark统一内存模型将内存分为offheap和heap两部分内存，每一个部分都可能发生内存不足的情况。 offheap内存不足的情况 offheap内存作用 为了进一步优化内存的使用以及提高 Shuffle 时排序的效率，Spark 引入了堆外（Offheap）内存，使之可以直接在工作节点的系统内存中开辟空间，存储经过序列化的二进制数据。 利用JDK Unsafe API（从 Spark 2.0 开始，在管理堆外的存储内存时不再基于 Tachyon，而是与堆外的执行内存一样，基于 JDK Unsafe API 实现），Spark 可以直接操作系统堆外内存，减少了不必要的内存开销，以及频繁的 GC 扫描和回收，提升了处理性能。堆外内存可以被精确地申请和释放，而且序列化的数据占用的空间可以被精确计算，所以相比堆内内存来说降低了管理的难度，也降低了误差。 offheap参数和动态扩展机制 Spark堆外内存的大小可以由spark.memory.offHeap.size控制，spark offheap空间只分为 execution 和 storage 1:1两部分，两部分可以动态扩展。 offheap不足 目前常用的offheap常见是 executor端，map task侧 shuffle时候，由于ShuffleExternalSorter占用内存过大，导致内存不足。 此外，在spark native场景中，spark将更多的使用 spark offheap内存取代heap内存，因此spark offheap在非shuffle场景下也会占用很多offheap内存。 如果存在offheap 内存不足警告，可以酌情添加spark.memory.offHeap.size 或者 降低shuffle 内存缓冲区大小。 heap内存不足的情况 spark将heap内存做如下分割 每一个部分超出使用上线都可能产生内存不足的情况。

本章节主要介绍翼MapReduce的修改服务自定义配置参数操作。 操作场景 MRS集群各个组件支持开源的所有参数，其中部分关键使用场景的参数支持在FusionInsight Manager界面进行修改，且部分组件的客户端可能不包含开源特性的所有参数。如果需要修改其他Manager未直接支持的组件参数，管理员可以在Manager通过自定义配置项功能为组件添加新参数。添加的新参数最终将保存在组件的配置文件中并在重启后生效。 对系统的影响 配置服务属性后，如果服务状态为“配置过期”，则需要重启此服务，重启期间该服务不可用。 修改服务配置参数并重启生效后，需要重新下载并安装客户端，或者下载配置文件刷新客户端。 前提条件 管理员已充分了解需要新添加的参数意义、生效的配置文件以及对组件的影响。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 选择“配置 > 全部配置”。 5. 在左侧导航栏定位到某个一级节点，并选择“自定义”，Manager将显示当前组件的自定义参数。 “参数文件”显示保存管理员新添加的自定义参数的配置文件。每个配置文件中可能支持相同名称的开源参数，设置不同参数值后生效结果由组件加载配置文件的顺序决定。自定义参数支持服务级别与角色级别，请根据业务实际需要选择。不支持单个角色实例添加自定义参数。 6. 在对应参数项所在行“名称”列输入组件支持的参数名，在“值”列输入此参数的参数值。 支持单击“＋”或“－”增加或删除一条自定义参数。 7. 单击“保存”，在弹出的“保存配置”窗口中确认修改参数，单击“确定”。界面提示“操作成功。”，单击“完成”，配置保存成功。 保存完成后请重新启动配置过期的服务或实例以使配置生效。

本章节主要介绍翼MapReduce的管理客户端操作。 操作场景 FusionInsight Manager支持统一管理集群的客户端安装信息，用户下载并安装客户端后，界面可自动记录已安装（注册）客户端的信息，方便查询管理。同时系统支持手动添加、修改未自动注册的客户端信息（如历史版本已安装的客户端）。 操作步骤 查看客户端信息 1. 登录FusionInsight Manager。 2. 选择“集群 >待操作集群的名称 > 客户端管理”，即可查看当前集群已安装的客户端信息。 用户可查看客户端所在节点的IP地址、安装路径、组件列表、注册时间及安装用户等信息。 在当前最新版本集群下载并安装客户端时，客户端信息会自动注册。 添加客户端信息 3. 如需手动添加已安装好的客户端信息，单击“添加”，根据界面提示手动添加客户端的IP地址、安装路径、用户、平台信息、注册信息等内容。 4. 配置好客户端信息，单击“确定”，添加成功。 修改客户端信息 5. 手动注册的客户端信息可以手动修改。 在“客户端管理”界面选择待修改的客户端，单击“修改”。修改信息后，单击“确定”完成修改。 删除客户端信息 6. 在“客户端管理”界面选择待删除的客户端，单击“删除”，在弹出的窗口中单击“确定”，即可删除客户端信息。 如需删除多个客户端信息，勾选待删除的客户端，单击“批量删除”，在弹出的窗口中单击“确定”，即可删除客户端信息。 导出客户端信息 7. 在“客户端管理”界面选择待操作的客户端，单击“导出全部”可导出所有已注册的客户端信息到本地。 说明 客户端管理界面上组件列表栏只展示有真实客户端的组件，因此部分没有客户端的组件和客户端特殊的组件不会显示在组件列表栏。 不显示的组件有： LdapServer、KrbServer、DBService、Hue、Mapreduce、Flume。 不显示的组件有： LdapServer、KrbServer、DBService、Hue、Mapreduce、Flume。

本章节主要介绍翼MapReduce的多租户管理页面概述操作。 统一的多租户管理 登录FusionInsight Manager，选择“租户资源 > 租户资源管理”，可以查看到FusionInsight Manager作为统一的多租户管理平台，集成了租户生命周期管理、租户资源配置、租户服务关联和租户资源使用统计等功能，为企业提供了成熟的多租户管理模型，实现集中式的租户和业务管理。 图形化的操作界面 FusionInsight Manager实现全图形化的多租户管理界面：通过树形结构实现多级租户的管理和操作，将当前租户的基本信息和资源配额集成在一个界面中，方便运维和管理，如下图所示多租户管理。 层级式的租户管理 FusionInsight Manager支持层级式的租户管理，可以为租户进一步添加子租户，实现资源的再次配置。一级租户下一级的子租户属于二级租户，以此类推。为企业提供了成熟的多租户管理模型，实现集中式的租户和业务管理。 简化的权限管理 FusionInsight Manager对普通用户封闭了租户内部的权限管理细节，对管理员简化了权限管理的操作方法，提升了租户权限管理的易用性和用户体验。 使用RBAC方式，在多租户管理时，可根据业务场景为各用户分别配置不同权限。 租户的管理员，具有租户的管理权限，包括：查看当前租户的资源和服务、在当前租户中添加/删除子租户并管理子租户资源的权限。支持定义单个租户的管理员，可以将租户的管理权限委托给系统管理员之外的其他用户。 租户对应的角色，具有租户的计算资源和存储资源的全部权限。创建租户时，系统自动创建租户对应的角色，可以添加用户并绑定该角色为其他用户授权，以使用该租户的资源。

本章节主要介绍翼MapReduce的修改OMS服务配置参数操作。 操作场景 根据用户环境的安全要求，管理员可以在FusionInsight Manager修改OMS中Kerberos与LDAP配置。 对系统的影响 修改OMS的服务配置参数后，需要重启对应的OMS模块，此时FusionInsight Manager将无法正常使用。 操作步骤 修改okerberos配置 1. 登录FusionInsight Manager，选择“系统 > OMS”。 2. 在okerberos所在行，单击“修改配置”。 3. 根据下表所示的说明修改参数。 okerberos参数配置一览表 参数名 说明 连接KDC最大时延（毫秒） 应用连接到Kerberos的超时时间，单位为毫秒，请填写整数值。 最大尝试次数 应用连接到Kerberos的最大重试次数，请填写整数值。 操作Ldap最大时延（毫秒） Kerberos连接LDAP的超时时间，单位为毫秒。 搜索Ldap最大时延（毫秒） Kerberos在LDAP查询用户信息的超时时间，单位为毫秒。 Kadmin监听端口 kadmin服务的端口。 KDC监听端口 kinit服务的端口。 Kpasswd监听端口 kpasswd服务的端口。 4. 单击“确定”。 在弹出窗口输入当前登录用户密码验证身份，单击“确定”，在确认重启的对话框中单击“确定”。 修改oldap配置 5. 在oldap所在行，单击“修改配置”。 6. 根据下表所示的说明修改参数。 oldap参数配置一览表 参数名 说明 Ldap服务监听端口 LDAP服务端口号。 7. 单击“确定”。 在弹出窗口输入当前登录用户密码验证身份，单击“确定”，在确认重启的对话框中单击“确定”。 说明 如果重置LDAP帐户口令需要重启ACS，操作步骤如下： 使用PuTTY，以omm用户登录主管理节点，执行以下命令更新域配置： sh ${BIGDATAHOME}/omserver/om/sbin/restartRealmConfig.sh复制 提示以下信息表示命令执行成功： Modify realm successfully. Use the new password to log into FusionInsight again.复制 执行 sh $CONTROLLERHOME/sbin/acscmd.sh stop ，停止ACS。 执行 sh $CONTROLLERHOME/sbin/acscmd.sh start ，启动ACS。

本章主要介绍翼MapReduce的解锁系统内部用功能。 操作场景 若服务出现异常状态，有可能是系统内部用户被锁定，请及时解锁，否则会影响集群正常运行。系统内部用户列表请参见用户帐号一览表。系统内部用户无法使用FusionInsight Manager解锁。 前提条件 根据用户帐号一览表获取LDAP管理员“cnroot,dchadoop,dccom”的默认密码。 操作步骤 1.使用以下方法确认系统内部用户是否被锁定： a.查询oldap端口： 登录FusionInsight Manager，选择“系统 > OMS > oldap > 修改配置”。 “Ldap服务监听端口”参数值即为oldap端口。 b.查询域名方法： 登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”。 “本端域”参数即为域名。 例如当前系统域名为“9427068F6EFA4833B43E60CB641E5B6C.COM”。 c.在集群内节点上以omm用户执行以下命令查询密码认证失败次数： ldapsearch H ldaps://OMS浮动IP地址:OLdap端口 LLL x D cnroot,dchadoop,dccom b krbPrincipalName系统内部用户名@当前域名,cn当前域名,cnkrbcontainer,dchadoop,dccom w LDAP管理员密码 e ppolicy grep krbLoginFailedCount 例如，查看oms/manager用户认证失败次数： ldapsearch H ldaps://10.5.146.118:21750 LLL x D cnroot,dchadoop,dccom b krbPrincipalNameoms/manager@9427068F6EFA4833B43E60CB641E5B6C.COM,cn9427068F6EFA4833B43E60CB641E5B6C.COM,cnkrbcontainer,dchadoop,dccom w cnroot,dchadoop,dccom 用户密码 e ppolicy grep krbLoginFailedCount krbLoginFailedCount: 5 d.登录FusionInsight Manager，选择“系统 > 权限 > 安全策略 > 密码策略”。 e.查看“密码连续错误次数”参数值，若小于等于“krbLoginFailedCount”参数值，则用户已被锁定。 说明 查看运行日志，也可以确认系统内部用户是否被锁定。 2.以omm用户登录主管理节点，执行以下命令解锁。 sh ${BIGDATAHOME}/omserver/om/share/om/acs/config/unlockuser.sh userName 系统内部用户名 例如， sh ${BIGDATAHOME}/omserver/om/share/om/acs/config/unlockuser.sh userName oms/manager

本章节主要介绍翼MapReduce的入服与退服实例操作。 操作场景 部分角色实例以分布式并行工作的方式对外部业务提供服务，服务会单独保存每个实例是否可以使用的信息，所以需要使用FusionInsight Manager为这些实例执行入服或退服的操作，变更实例的业务可用状态方式。 不支持该此功能的实例，默认无法执行任务。 说明 当前支持退服和入服操作的角色有：HDFS的DataNode、Yarn的NodeManager、HBase的RegionServer。 当DataNode数量少于或等于HDFS的副本数时，不能执行退服操作。若HDFS副本数为3时，则系统中少于4个DataNode，将无法执行退服，Manager在执行退服操作时会等待30分钟后报错并退出执行。 由于Mapreduce任务执行时，会生成一些副本数为10的文件，此时若DataNode实例数少于10时，将无法进行退服操作。 如果退服前，DataNode节点的机架数（机架数由各DataNode节点所配置的“机架”的名称数量决定）大于1；而退服部分DataNode后，剩余的DataNode节点的机架数变为1，则此次退服将会失败。所以需要在退服前评估退服操作对机架数的影响，以调整退服的DataNode节点。 在退服多个DataNode时，如果每个DataNode存储的数据量较大，如果执行选择多个DataNode同时退服，则很有可能会因超时而退服失败。为了避免这种情况，建议每次退服仅退服1个DataNode，进行多次退服操作。 操作步骤 1. DataNode节点退服前需要进行健康检查，步骤如下： 使用客户端用户登录客户端安装节点，并切换到客户端安装目录。 如果是安全集群，需要使用hdfs用户进行权限认证。 source bigdataenv

本章节主要介绍翼MapReduce服务在不同场景下的应用。 大数据在人们的生活中无处不在，在IoT、电子商务、金融、制造、医疗、能源和政府部门等行业均可以使用云MRS服务进行大数据处理。 海量数据分析场景 海量数据分析是现代大数据系统中的主要场景。通常企业会包含多种数据源，接入后需要对数据进行ETL（ExtractTransformLoad）处理形成模型化数据，以便提供给各个业务模块进行分析梳理，这类业务通常有以下特点： 对执行实时性要求不高，作业执行时间在数十分钟到小时级别。 数据量巨大。 数据来源和格式多种多样。 数据处理通常由多个任务构成，对资源需要进行详细规划。 例如在环保行业中，可以将天气数据存储在OBS，定期转储到HDFS中进行批量分析，在1小时内MRS可以完成10TB的天气数据分析。 详见下图：环保行业海量数据分析场景 该场景下MRS的优势如下所示。 低成本：利用OBS实现低成本存储。 海量数据分析：利用Hive实现TB/PB级的数据分析。 可视化的导入导出工具：通过可视化导入导出工具Loader，将数据导出到DWS，完成BI分析。 海量数据存储场景 用户拥有大量结构化数据后，通常需要提供基于索引的准实时查询能力，如车联网场景下，根据汽车编号查询汽车维护信息，存储时，汽车信息会基于汽车编号进行索引，以实现该场景下的秒级响应。通常这类数据量比较庞大，用户可能保存1至3年的数据。 例如在车联网行业，某车企将数据储存在HBase中，以支持PB级别的数据存储和毫秒级的数据详单查询。 详见下图：车联网行业海量数据存储场景 该场景下MRS的优势如下所示。 实时：利用Kafka实现海量汽车的消息实时接入。 海量数据存储：利用HBase实现海量数据存储，并实现毫秒级数据查询。 分布式数据查询：利用Spark实现海量数据的分析查询。 实时数据处理 实时数据处理通常用于异常检测、欺诈识别、基于规则告警、业务流程监控等场景，在数据输入系统的过程中，对数据进行处理。 例如在梯联网行业，智能电梯的数据，实时传入到MRS的流式集群中进行实时告警。 详见下图：梯联网行业低时延流式处理场景 该场景下MRS的优势如下所示。 实时数据采集：利用Flume实现实时数据采集，并提供丰富的采集和存储连接方式。 海量的数据源接入：利用Kafka实现万级别的电梯数据的实时接入。

本章节主要介绍翼MapReduce的实例管理操作。 总览 登录FusionInsight Manager以后，例如选择“集群 > 待操作集群的名称 > 服务 > KrbServer > 实例”，进入实例管理页面，包含功能区和角色实例列表。 功能区 在功能区勾选需要操作的实例后，可对角色实例执行相关维护管理任务，例如启动或停止实例等，主要操作如下表所示。 实例维护管理功能 操作入口 说明 “ 启动实例” 将集群中指定实例启动。适用于操作状态为“未启动”、“停止失败”或“启动失败”角色实例，以使用该角色实例。 “ 更多 > 停止实例” 将集群中指定实例停止。适用于不再使用或异常的角色实例。 “ 更多 > 重启实例” 将集群中指定实例重启。适用于状态异常的角色实例，以恢复角色实例功能。 “ 更多 > 滚动重启实例” 为集群中指定实例提供不中断业务的重启操作，具体参数配置可参考滚动重启集群。 “ 更多 > 入服/退服” 为集群中指定实例执行入服务或退服的操作，变更实例的业务可用状态方式，具体可参考入服与退服实例。 说明 仅HDFS的角色DataNode、Yarn的角色NodeManager、HBase的角色RegionServer支持此操作。 “待操作实例名称> 更多 > 同步配置” 当某个角色实例的“配置状态”为“配置过期”，表示该角色实例修改配置后还未重启生效，新的配置仅保存在FusionInsight Manager。将新的配置下发至指定实例。 说明 同步角色实例配置后需要重启配置过期的角色实例。重启时对应的角色实例不可用。 完成同步配置后，完成后请重启实例以使配置生效。 “待操作实例名称> 实例配置” 具体请参考管理实例配置。 功能区支持按角色或运行状态进行快速筛选。 说明 单击“高级搜索”，支持指定其他筛选条件搜索指定的实例，例如主机名称、管理IP、业务IP和实例组等。

本页为您介绍WPS云文档天翼云版的计费项 WPS云文档天翼云版 标准版365/元/人/年 WPS云文档天翼云版 高级版599/元/人/年 WPS云文档天翼云版 基础版168/元/人/年 WPS云文档天翼云版 WPS会员89/元/人/年 WPS云文档天翼云版 稻壳会员 89/元/人/年 WPS云文档天翼云版 超级会员179/元/人/年 WPS云文档天翼云版 咨询服务8100元/人/天

本章主要介绍翼MapReduce的修改LDAP管理员和LDAP用户密码（含OMS LDAP）功能。 操作场景 建议管理员定期修改集群的LDAP管理员用户“cnroot,dchadoop,dccom”和LDAP用户“cnpgsearchdn,ouUsers,dchadoop,dccom”的密码，以提升系统运维安全性。 修改上述用户密码将同步修改OMS LDAP管理员或用户密码。 说明 旧版本集群升级到新版本后，LDAP管理员密码将继承旧集群的密码策略，为保证系统安全，建议集群升级后及时修改密码。 对系统的影响 修改LdapServer服务的用户密码为高危操作，需要重启KrbServer和LdapServer服务。重启KrbServer可能会导致集群中的节点短时间内出现执行id命令查询不到用户的现象，请谨慎执行。 修改LDAP用户“cnpgsearchdn,ouUsers,dchadoop,dccom”的密码后，可能会导致该用户在组件LDAP上被锁定。因此，建议修改密码后对该用户进行解锁，解锁方法请参见解锁LDAP用户和管理帐户章节。 前提条件 修改LDAP用户“cnpgsearchdn,ouUsers,dchadoop,dccom”的密码前需先确认该用户没有被锁定，在集群主管理节点上执行如下命令： 说明 oldap端口查询方法： 1. 登录FusionInsight Manager，选择“系统 > OMS > oldap > 修改配置”； 2. “Ldap服务监听端口”参数值即为oldap端口。 ldapsearch H ldaps://OMS浮动地址:OLdap端口LLL x D cnpgsearchdn,ouUsers,dchadoop,dccom W b cnpgsearchdn,ouUsers,dchadoop,dccom e ppolicy 输入LDAP用户pgsearchdn的密码，出现如下提示表示该用户被锁定，则需要解锁用户，具体请参见解锁LDAP用户和管理帐户章节。 说明 LDAP用户pgsearchdn的密码为系统随机生成，具体可在主节点的“/etc/sssd/sssd.conf”或“/etc/ldap.conf”文件中获取。 ldapbind: Invalid credentials (49); Account locked

本章节主要介绍翼MapReduce的配置集群静态资源操作。 操作场景 当需要控制集群服务可以使用节点资源的情况，或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时，管理员可以在FusionInsight Manager调整资源基数，并自定义资源配置组。 对系统的影响 配置静态服务池后，受影响的服务的“配置状态”将显示为“配置过期”，需要重启服务，重启期间服务不可用。 配置静态服务池后，各服务及角色实例使用的最大资源将不能超过限制。 操作步骤 修改资源调整基数 1.在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 静态服务池”。 2.单击右上角“配置”，进入静态资源池配置向导。 3.在“系统资源调整基数”分别修改参数“CPU（%）”和“Memory（%）”。 修改“系统资源调整基数”将限制服务能够使用节点的最大物理CPU和内存资源百分比。如果多个服务部署在同一节点，则所有服务使用的最大物理资源百分比不能超过此参数值。 4.单击“下一步”。 需要重新修改参数，可单击“上一步”返回。 修改资源池默认“default”配置组 5.单击“default”，在“权重配置”表格中各服务对应的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填写各服务的资源使用百分比数量。 说明 所有服务使用的“CPU LIMIT(%)”和 “CPU SHARE(%)”资源配置总和可以大于100%。 所有服务使用的“I/O(%)”资源配置总和可以大于100%，不能为0。 所有服务使用的“Memory(%)”资源配置总和可以小于或等于100%，也可以大于100%。 “Memory(%)”不支持动态生效，仅在“default”配置组中可以修改。 “CPU LIMIT(%)”用于配置服务可使用的CPU核数与节点可分配的CPU核数占比。 “CPU SHARE(%)”用于配置服务在与其他服务使用同一个CPU核的时间占比，即多个服务在使用同一个CPU核发生争抢时的时间占比。 6.单击“根据权重配置生成详细配置”，FusionInsight Manager将根据集群硬件资源与分配情况，生成资源池实际参数配置值。 7.单击“确定”。 在弹出窗口单击“确定”，确认保存配置。

本章主要介绍翼MapReduce的恢复Hive业务数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对Hive进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对Hive进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复Hive任务并恢复数据。只支持创建任务手动恢复数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Hive数据。 对系统的影响 恢复过程中会停止用户认证，用户无法开始新的连接。 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 数据恢复后，需要重新启动Hive的上层应用。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 规划好恢复数据保存表的数据库，数据表在HDFS的保存位置，以及访问恢复数据的用户清单。 检查Hive备份文件保存路径。 停止Hive的上层应用。 登录FusionInsight Manager，请参见登录管理系统。

本章节主要介绍翼MapReduce的配置私有属性操作。 操作场景 admin用户或绑定Manageradministrator角色的管理员用户，可以在FusionInsight Manager配置私有属性功能开关，用于支持用户（集群中所有业务用户）设置或取消自己的私有（Independent）属性。 开启私有属性开关后，需要业务用户登录后设置Independent属性，完成用户私有属性配置。 限制约束 管理员不能设置或取消业务用户的Independent属性。 管理员不能获取私有用户的认证凭据。 前提条件 已获取要求权限的管理员用户和密码。 操作步骤 配置私有属性开关 1. 以admin用户或绑定Manageradministrator角色的用户登录FusionInsight Manager。 2. 选择“系统 > 权限 > 安全策略 > 配置Independent”。 3. 打开或关闭Independent属性，根据提示输入密码，单击“确认”完成身份验证。 4. 身份验证通过后，等待修改OMS配置完成，单击“完成”结束操作。 说明 关闭Independent属性功能后： 已拥有这个属性的业务用户可以在右上角用户名下取消Independent属性，取消后无法重新设置。取消后已创建的私有表继续保持私有属性，取消后无法继续创建私有表。 没有这个属性的业务用户无法在右上角用户名下进行设置和取消操作。 配置用户私有属性 5. 以业务用户登录FusionInsight Manager。 须知 设置Independent属性后，管理员不能初始化私有用户（业务用户设置了Independent属性后，即为私有用户）的密码；如果忘记此用户密码，密码将无法找回。 admin用户无法设置Independent属性。 6. 移动鼠标到界面右上角的用户名。 7. 在弹出的菜单栏中单击“设置Independent”或“取消Independent”。 说明 私有属性功能开关已开启，业务用户当前已设置私有属性时，菜单栏显示“取消Independent”。 私有属性功能开关已开启，业务用户当前已取消私有属性时，菜单栏显示“设置Independent”。 私有属性功能开关已关闭，业务用户当前已设置私有属性时，菜单栏显示“取消Independent”。 私有属性功能开关已关闭，业务用户当前已取消私有属性时，菜单栏不显示。 8. 根据界面提示，输入密码，单击“确定”完成身份验证。 9. 身份验证通过后，在确认对话框中单击“确定”。

本章节主要介绍翼MapReduce的配置Syslog北向参数操作。 操作场景 如果用户需要在统一的告警平台查看集群的告警和事件，管理员可以在FusionInsight Manager使用Syslog协议将相关数据上报到告警平台。 须知 Syslog协议未做加密，传输数据容易被窃取，存在安全风险。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“系统 > 对接 > Syslog”。 3. 单击“Syslog服务”右侧的开关。 “Syslog服务”默认为不启用，开关显示为表示启用。 4. 根据下表所示的说明填写北向参数。 Syslog对接参数 参数区域 参数名称 参数说明 Syslog协议 服务IP模式 设置对接服务器IP地址模式，可选择“IPV4”或者“IPV6”。 Syslog协议 服务IP 设置对接服务器IP地址。 Syslog协议 服务端口 设置对接端口。 Syslog协议 协议 设置协议类型，可选值： l TCP l UDP Syslog协议 安全级别 设置上报消息的严重程度，取值范围： l Emergency l Alert l Critical l Error l Warning l Notice l Informational（默认值） l Debug 说明 “安全级别”和“Facility”共同组成发出消息的优先级（Priority ）。 优先级（Priority ） “Facility” × 8 +“安全级别” “安全级别”和“Facility”各项对应的数值请参考下表：“安全级别”和“Facility”字段数值编码 。 Syslog协议 Facility 设置产生日志的模块。可选项参考下表：“安全级别”和“Facility”字段数值编码[](file:///D:/%E5%B7%A5%E4%BD%9C%E6%96%87%E4%BB%B6%E5%A4%B9/1%E3%80%81%E7%BF%BCMapReduce%EF%BC%88MRS%EF%BC%89/%E5%8D%8E%E4%B8%BA%E6%8F%90%E4%BE%9B%E6%96%87%E6%A1%A3MRS/%E5%A4%A9%E7%BF%BC%E5%9C%A8%E7%94%A8%E6%96%87%E6%A1%A323.6.26%EF%BC%88%E5%B7%B2%E4%BF%AE%E6%94%B9%EF%BC%89/%EF%BC%88%E5%B7%B2%E4%BF%AE%E6%94%B9%EF%BC%89%E7%BF%BCMapReduce%E6%9C%8D%E5%8A%A1%E7%94%A8%E6%88%B7%E6%93%8D%E4%BD%9C%E6%8C%87%E5%8D%97.docx

本节介绍Kafka发送告警最佳实践 场景描述 如果您想要在消费组的消息堆积数超过阈值时，通过短信/邮件及时收到通知信息，可以参考本章节设置告警通知。 前提条件 已购买Kafka实例、创建Topic，并且已成功消费消息。 操作步骤 1. 登录Kafka实例控制台，单击待创建告警通知的实例名称，进入实例详情页。 2. 在左侧导航栏，选择“告警管理”，进入告警管理页面。 3. 点击“通知组”页签，创建联系人。 4. 点击“通知策略”页签，点击右上角“创建通知策略”按钮。 通知对象：选择前面流程中创建的联系人，在右侧选择联系方式邮件短信。 通知模板：可选择邮件、短信、翼连三种告警方式。 5. 点击“告警规则”页签，点击左上角“创建告警规则”按钮。 说明 告警名称：用于区别不同告警。 告警分组：可选择实例节点、主题和消费组，可根据具体需求选择，本文涉及情况应选择消费组。 告警指标：不同的告警分组包含不同的告警指标，本文涉及情况选择的是消费组中的堆积数告警。 告警条件：根据具体业务需求填写信息。 告警内容：不同的告警指标对应不同的告警内容，不建议改动。 持续时间：可选择马上告警，也可选择持续一段时间后才告警。 告警等级：可选择一般、次要、重要、紧急四个等级。 通知策略：选择前面流程中创建的通知策略。 通知频率：可选择隔多长时间告警一次。 6. 规则创建成功后可在告警规则页面查看其状态。

本文主要介绍了包周期产品升降规则及费用说明。 以下内容适用于包周期产品变更规格时引起费用变化的情况，按需产品不涉及。 产品升降配： 指用户在付费使用天翼云产品过程中，根据自身业务需要，基于产品升降配能力，在原已订购产品的规格基础上进行变更操作。 升配： 指单笔订单某一产品规格变更后的标准费用高于规格变更前的标准费用。变更操作时，用户需要支付新规格、原规格的差价。 降配： 指单笔订单某一产品规格变更后的标准费用低于规格变更前的标准费用。变更操作时，天翼云会将新规格、原规格的差价退给用户。 产品升降配规则 天翼云预付费用户通过官网自助变更规格时，升配产生的费用将通过账户余额或微信、支付宝、翼支付等第三方支付平台完成费用收取，降配产生的费用将自动原路回退。（在线支付超过3个月的订单，费用会退回账户余额） 天翼云预付费用户操作规格升配，原则上不限制使用任何券类，具体使用要求以券类说明为准。预付费用户操作降配时不允许使用任何券类用来抵扣降配差价，任何使用券类开通的资源在降配成功后，已使用券类不退还。 产品升配 订单升配标准费用 包周期产品规格升配用户应缴纳的费用计算规则如下： 升配应支付差价（已生效订单新规格对应全周期应实付费用已生效订单旧规格对应全周期已实付费用）已生效订单未使用天数/已生效订单旧规格全周期天数+违约金 已生效订单新规格对应全周期费用用户升配当天若订购全周期新规格应实付费用 已生效订单旧规格对应全周期费用订购旧规格时用户实付费用 已生效订单未使用天数已生效旧规格订单全周期天数已生效订单旧规格已使用天数 示例： 包年订购： 2023年1月1号订购1年2C4G，包年实付费用100元（旧规格资源全周期费用）。 2023年3月1号做升配至4C8G，4C8G从2023年1月1号订购一年的包年实付费用为120元。 升配差价即为（120100）资源剩余天数/资源全周期天数。 包月订购： 2023年1月1号订购1个月2C4G，包月实付费用30元（旧规格资源全周期费用）。 2023年1月3号做升配至4C8G，包月实付费用40元。 升配差价即为（4030）29/31。 先包年订购，再按月续订，再升级： 2023年1月1号订购1年2C4G，包年实付费用100元（旧规格订购段全周期费用）。 2023年1月2号续订1个月，包月实付费用30元（旧规格续订段全周期费用）。 2023年1月3号做升配至4C8G，4C8G包年实付费用为120元，包月费用为40元。 升配差价按分段计算： （1）包年段升配差价（120100）包年段剩余天数/包年段全周期天数 （2）包月段升配差价403010元 产品按版本升配用户应缴纳的费用计算规则如下： 产品按版本升配应支付差价已生效订单新版本应实付费用已生效订单旧版本已实付费用+违约金 示例： 用户于2021/4/1购买了版本1.0的产品，版本1.0的产品标准单价为100元，该用户享受产品级折扣为8折优惠，当日实付现金80元。 用户在2021/4/25将规格升配为版本2.0的产品，版本2.0的产品标准单价为200元，该用户享受产品级折扣为7折优惠。 版本升配成功用户应支付差价2000.7100 0.860元 注意 若升配差价<0，仅升配规格，不退还费用。 若涉及商务约定、活动政策，应按照商务约定、活动政策要求变更规格。

本文介绍了数据管理服务在使用上的限制情况。 数据管理服务在使用过程中存在一些限制，目前正在持续迭代，以增加对多种数据库来源、更多数据库类型的支持，满足更多用户的需求。 以下是对这些限制的详细说明。 数据库来源 目前，数据管理服务主要支持公网/直连数据库、天翼云数据库、AOne环境数据库等数据库来源。 说明 当数据来源选择天翼云数据库时，目前DMS仅支持添加管理以下资源池的天翼云数据库：华东1、上海36、西南1、长沙42、华北2、华南2、南昌5、青岛20、南宁23、郑州5、武汉41、太原4、杭州7、西南2贵州、庆阳2、西安7、苏州、广州4、乌鲁木齐7、呼和浩特3、芜湖4、佛山7、香港2、河北张家口IT上云1、印尼1，另外还有ecx郑州4、ecx北碚1、北京行业云20资源池仅限特定用户可见，更多资源池支持正在不断更新中。 数据库类型 数据管理服务目前主要支持MySQL、PostgreSQL、SQLServer、DRDS、MongoDB、DDS、ClickHouse、Oracle等数据库类型。 浏览器兼容性 数据管理服务兼容的浏览器与版本信息如下：Chrome浏览器（版本号大于90），FireFox浏览器（版本号大于88），Safari浏览器（版本号大于15），Edge浏览器（版本号大于141）。 各类型数据库支持的功能模块 以下是各类型数据库在DMS的功能支持情况。 菜单 功能模块 MySQL PostgreSQL SQL Server DRDS MongoDB DDS ClickHouse Oracle 查询窗口 SQL执行 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 脚本保存 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 格式化 支持 支持 支持 支持 不支持 不支持 支持 支持 查询窗口 执行计划 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 查询窗口 SQL诊断 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 查询窗口 语法帮助 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 查询窗口 智能提示 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 执行历史 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 结果集可视化编辑 支持 支持 支持 支持 支持 支持 不支持 不支持 查询窗口 结果集导出 支持 支持 支持 支持 支持 支持 支持 支持 查询窗口 表结构可视化编辑 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 查询窗口 管理员模式 支持 支持 支持 支持 不支持 不支持 不支持 支持 数据导出 整表导出 支持 支持 支持 支持 不支持 不支持 支持 支持 数据导出 SQL导出 支持 支持 支持 支持 支持 支持 支持 支持 数据导出 集合导出 不支持 不支持 不支持 不支持 支持 支持 不支持 不支持 数据导入 CSV导入 支持 支持 支持 支持 支持 支持 支持 支持 数据导入 SQL导入 支持 支持 支持 支持 不支持 不支持 支持 支持 数据导入 TXT导入 支持 支持 支持 支持 不支持 不支持 支持 支持 数据导入 JSON导入 不支持 不支持 不支持 不支持 支持 支持 不支持 不支持 数据导入 EXCEL导入 支持 支持 支持 支持 不支持 不支持 支持 支持 结构对比 结构对比 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 数据对比 数据对比 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 SQL变更 SQL变更 支持 支持 不支持 支持 不支持 不支持 不支持 支持 数据资产 实例管理 支持 支持 支持 支持 不支持 不支持 支持 支持 数据资产 敏感数据保护 支持 支持 不支持 支持 不支持 不支持 不支持 不支持 数据资产 数据权限管理 支持 支持 支持 支持 不支持 不支持 不支持 不支持 智能运维 实例概览 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 实例画像 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 一键诊断 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 会话管理 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 智能运维 SQL限流 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 实时性能 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 诊断报告 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 空间分析 支持 支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 锁分析 支持 支持 支持 不支持 不支持 不支持 不支持 不支持 智能运维 性能洞察 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 数据追踪 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 智能运维 异常管理 支持 不支持 不支持 不支持 不支持 不支持 不支持 不支持 SQL治理 慢SQL 支持 不支持 不支持 支持 不支持 支持 不支持 不支持 SQL治理 SQL审计 支持 支持 支持 不支持 不支持 支持 不支持 不支持 SQL治理 SQL规范 支持 支持 不支持 支持 不支持 不支持 不支持 支持 SQL治理 SQL风险 支持 支持 不支持 支持 不支持 不支持 不支持 支持 SQL治理 SQL审核 支持 支持 不支持 支持 不支持 不支持 不支持 支持 安全协作 DMS SQL审计 支持 支持 支持 支持 不支持 不支持 不支持 不支持 安全协作 DMS 操作审计 支持 支持 支持 支持 支持 支持 支持 支持 AI智能 SQL生成 支持 支持 支持 支持 不支持 不支持 不支持 不支持 AI智能 SQL纠错 支持 支持 支持 支持 不支持 不支持 不支持 不支持

本章节主要介绍翼MapReduce的配置队列操作。 操作场景 根据业务需要，管理员可以通过FusionInsight Manager修改指定租户的队列配置。 前提条件 已添加使用Capacity调度器的租户。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“租户资源 > 动态资源计划”。 默认显示“资源分布策略”。 3. 单击“队列配置”页签。 4. “集群”参数选择待操作的集群名称，然后在指定租户资源名的“操作”列，单击“修改”。 说明 l 在“租户管理”页签左侧租户列表，单击目标的租户，切换到“资源”页签，单击也能打开修改队列配置页面。 l 一个队列只能绑定一个非default资源池。 队列配置参数 参数名 描述 租户资源名（队列） 租户及队列名称。 最大应用数量 表示最大应用程序数量。 AM最大资源百分比 表示集群中可用于运行application master的最大资源占比。 用户资源最小上限百分比（%） 表示每个用户最低资源保障（百分比）。任何时刻，一个队列中每个用户可使用的资源量均有一定的限制。当一个队列中同时运行多个用户的应用程序时，每个用户的使用资源量在一个最小值和最大值之间浮动，其中，最小值取决于正在运行的应用程序数目，而最大值则由此参数决定。比如，假设此参数的值设置为25。当两个用户向该队列提交应用程序时，每个用户可使用资源量不能超过50%，如果三个用户提交应用程序，则每个用户可使用资源量不能超多33%，如果四个或者更多用户提交应用程序，则每个用户可用资源量不能超过25%。 用户资源上限因子 表示用户使用的最大资源限制因子，与当前租户在集群中实际资源百分比相乘，可计算出用户使用的最大资源百分比。 状态 表示资源计划当前的状态，“运行”为运行状态，“停止”为停止状态。 默认资源池 表示队列使用的资源池，默认为“default”。如果需要修改为其他资源池，需要先配置队列容量，请参见配置资源池的队列容量策略。 5. 单击“确定”完成配置。

工信部增加全国备案短信验证功能通知 “备案短信核验”问题集锦 根据《工业和信息化部关于开展互联网基础管理专项行动的通知》工信部信管函[2016]485号文件要求，工业和信息化部将对通过 ICP/IP地址/域名信息备案管理系统提交备案申请的主体负责人及网站负责人的手机号码进行短信验证。即：备案信息通过天翼云审核后，天翼云在将备案信息提交管局审核时，备案主体负责人和（或）网站负责人手机号码中，将会收到工信部发出的短信息验证码。需在24小时内完成短信验证，备案申请才能进入省通信管理局的审核程序。 目前适用省份： 根据工信部最新要求，自2020年8月17日起，各省市进行以下类型的备案申请时需通过工信部备案管理系统进行短信核验，详情如下所示。 短信验证平台： 您在备案信息中填写的手机号码收到工信部发出的验证码后，需及时访问《工业和信息化部政务服务平台ICP/IP地址/域名信息备案管理系统》网站（以下简称公共查询网站） 填写证件号码、验证手机号和验证码，完成验证。 验证码发送及短信核验原则: 备案类型 验证逻辑 备注 新增备案 验证主体负责人手机号和网站负责人手机号。 若主体负责人与网站负责人为同一人，只发送一个验证码。 新增网站备案 验证网站负责人手机号码。 若主体信息有变更，则需要验证。 新增接入备案 验证网站负责人手机号码。（注意：该手机号码是通过其他接入商在管局侧备案时所提供的号码） 1、如果您更换了手机号码，需先到原备案接入服务商处变更手机号码，再进行接入备案。 2、如果您的网站为空壳网站（即无接入服务商），无法到原接入服务商处变更手机号码。只能注销备案后，再重新提交新增网站备案。 变更备案信息 验证主体负责人手机号或网站负责人手机号。 1、若变更主体信息，则验证主体负责人手机号码。 2、若变更网站信息，则验证网站负责人手机号码。 3、若同时变更了主体和网站信息，那么主体和网站负责人手机号码均需验证。 注销主体 主体负责人验证。 暂时无需验证。验证开放时间待定。 注销网站 无需验证。 暂时无需验证。验证开放时间待定。 取消接入 无需验证。 暂时无需验证。验证开放时间待定。 验证码有效时长： 验证码 24 小时以内有效。您需在 24 小时内，访问公共查询网站，并输入证件号码、验证手机号和验证码进行验证。 手机号码短信验证通过后，您的备案信息将流转至管局审核。 若 24 小时内，没有进行验证或验证失败，备案信息将会自动退回至接入商（天翼云）。需您重新提交备案申请，再次进入短信验证流程。完成短信验证后，备案申请信息才能递交至省管局审核。 验证码发送号码： 电信、联通、移动用户收到的短信验证码的发送号码为短信验证码的发送号码为12381或10612381。 1. 填写信息：验证码、手机号码、证件号码后六位数，完成图形验证，再单击 提交 。验证通过后，系统提示核验完成。如果您的备案订单中，还有其他需验证的手机号，请继续成。 2. 验证通过后，系统提示核验完成。如果您的备案订单中，还有其他需验证的手机号，请继续完成。 注意： 1、如果您的信息输入错误，或输入的三条信息（证件号码、手机号码、验证码）不匹配，则系统找不到对应的订单。系统提示找不到记录。请核实信息后，重新输入。 2、如果负责人证件号码输错 3 次以后，系统提示短信核验失败。您的备案申请信息将被工信部系统退回。 未收到验证短信，怎么办？ 在天翼云将您的备案信息提交管局审核的后，请注意查收工信部发出的验证短信。一般在 5 分钟内即可收到验证短信。若 5 分钟后仍然没有收到验证短信，请检查： 1、您的手机网络信号是否正常。 2、您是否设置了短信拦截或安装了垃圾短信拦截软件。 解决方法： 1、如果因手机网络信号不正常导致无法接收短信，请移到信号好的地方；或访问公共查询网站进行手动重发送验证短信。 2、如果因您设置了垃圾短信拦截，或安装了拦截软件，请关闭拦截。如果无法关闭拦截，建议您将您的 SIM 卡换至其他手机。 3、如果您误删了验证短信，可访问公共查询网站，进行手动重发。 4、如果您 24 小时未完成短信验证，备案系统会自动退回您的备案申请。您需重新提交备案申请。 如何操作手动重发验证码短信？ 访问公共查询网站，单击网站页面上“短信核验”按钮。 单击 短信重发 ，进入核验短信重发页面。填写您需验证的手机号码和证件号码后 6 位数，然后单击 提交。 发送成功通知：您的短信已发送成功。

本章节主要介绍翼MapReduce的管理服务和主机监控功能。 用户可以在日常使用中，可以在MRS Manager管理所有服务（含角色实例）和主机的状态及指标信息： 状态信息，包括运行、健康、配置及角色实例状态统计。 指标信息，各服务的主要监控指标项。 导出监控指标。 说明 用户可以选择页面自动刷新间隔的设置，也可以单击马上刷新。 支持三种参数值： l “每30秒刷新一次”：刷新间隔30秒。 l “每60秒刷新一次”：刷新间隔60秒。 l “停止刷新”：停止刷新。 管理服务监控 1. 在MRS Manager，单击“服务管理”。 服务列表中标题包含“服务”、“操作状态”、“健康状态”、“配置状态”、“角色数”和“操作”。 服务操作状态描述如下表所示。 状态 描述 已启动 服务已启动。 已停止 服务已停止。 启动失败 用户启动操作失败。 停止失败 用户停止操作失败。 未知 后台系统重启后，服务的初始状态。 服务健康状态如下表所示。 状态 描述 良好 该服务中所有角色实例正常运行。 故障 至少一个角色实例运行状态为“故障”或被依赖的服务状态不正常。 未知 该服务中所有角色实例状态为“未知”。 正在恢复 后台系统正在尝试自动启动服务。 亚健康 该服务所依赖的服务状态不正常，异常服务的相关接口无法被外部调用。 服务配置状态如下表所示。 状态 描述 已同步 系统中最新的配置信息已生效。 过期 参数修改后，最新的配置未生效。需重启相应服务生效最新配置信息。 失败 参数配置过程中出现通信或读写异常。尝试使用“同步配置”恢复。 同步中 参数配置进行中。 未知 无法获取当前配置状态。 默认以“服务”列按升序排列，单击 服务 、 操作状态 、健康状态或配置状态可修改排列方式。 2. 单击列表中指定服务名称，查看服务状态及指标信息。 3. 定制、导出监控图表。 在“图表”区域框中，单击“定制”自定义服务监控指标。 在“时间区间”选择查询时间，单击“查看”显示该时间段内的监控数据。 单击“导出”，导出当前查看的指标数据。

本章节主要介绍翼MapReduce的资源监控操作。 集群中部分服务提供服务级别的资源监控项，默认显示12小时的监控数据。用户可单击自定义时间区间，缺省时间区间包括：12小时、1天、1周、1月。单击可导出相应报表信息，无数据的监控项无法导出报表。支持资源监控的服务及监控项如下表所示。 登录FusionInsight Manager以后，选择“集群 > 待操作集群的名称 > 服务”后，选择待操作的服务，单击“资源”，进入资源监控页面。 服务资源监控 服务 监控指标 说明 HDFS 资源使用（按租户） l 按租户统计HDFS的资源使用情况。 l 可选择按“容量”或“文件对象数”观察。 HDFS 资源使用（按用户） l 按用户统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件对象数”观察。 HDFS 资源使用（按目录） l 按目录统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件对象数”观察。 l 单击配置空间监控，可以指定HDFS文件系统目录进行监控。 HDFS 资源使用（按副本） l 按副本数统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件数”观察。 HDFS 资源使用（按文件大小） l 按文件大小统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件数”观察。 HDFS 回收站（按用户） l 按用户统计HDFS回收站的使用情况。 l 可选择按“回收站容量”或“文件对象数”观察。 HDFS 操作数 l 统计HDFS中操作数。 HDFS 自动balance l 统计HDFS自动balancer的执行速度以及本次balancer当前迁移的总容量大小。 HDFS NameNode RPC连接数（按用户） l 按用户统计连接到NameNode的Client RPC请求中，各个用户的连接数。 HDFS 慢DataNode节点 集群中数据传输或处理慢的DataNode节点。 HDFS 慢磁盘 集群中DataNode节点上数据处理慢的磁盘。 HBase 表级别操作请求次数 所有RegionServer上的所有表中put、delete、get、scan、increment、append操作请求次数。 HBase RegionServer级别操作请求次数 RegionServer中put、delete、get、scan、increment、append操作请求次数以及所有操作请求次数。 HBase 服务级别操作请求次数 RegionServer上所有Region中put、delete、get、scan、increment、append操作请求次数。 HBase RegionServer级别HFile数 所有RegionServer中HFile数。 Hive HiveServer2BackgroundPool线程数（按IP） 周期内统计并显示Top用户的HiveServer2BackgroundPool线程数。 Hive HiveServer2HandlerPool线程数（按IP） 周期内统计并显示Top用户的HiveServer2HandlerPool数监控。 Hive MetaStore使用数（按IP） Hive周期内统计并显示Top用户的MetaStore使用数。 Hive Hive的Job数 Hive周期内统计并显示用户相关的Job数目。 Hive Split阶段访问的文件数 统计Hive周期内Split阶段访问底层文件存储系统（默认：HDFS）的文件数。 Hive Hive基本操作时间 Hive周期内统计底层创建目录（mkdirTime）、创建文件（touchTime）、写文件（writeFileTime）、重命名文件（renameTime）、移动文件（moveTime）、删除文件（deleteFileTime）、删除目录（deleteCatalogTime）所用的时间。 Hive 表分区个数 Hive所有表分区个数监控，返回值的格式为：数据库

本章主要介绍翼MapReduce的修改组件运行用户密码功能。 操作场景 建议管理员定期修改集群内组件运行用户的密码，以提升系统运维安全性。 组件运行用户，根据初始密码是否是系统随机生成，可分为两类： 密码随机生成的，用户类型为“机机”用户。 密码不是随机生成的，用户类型为“人机”用户。 对系统的影响 初始密码为系统随机生成的组件运行用户，在修改密码后需要重启集群，重启期间会造成业务暂时中断。 前提条件 已在集群内的任一节点安装了客户端，并获取此节点IP地址。 操作步骤 1.以客户端安装用户，登录安装了客户端的节点。 2.执行以下命令，切换到客户端目录，例如“/opt/Bigdata/client”。 cd /opt/Bigdata/client 3.执行以下命令，配置环境变量。 source bigdataenv 4.执行以下命令，输入kadmin/admin用户密码后进入kadmin控制台。 kadmin p kadmin/admin 说明 kadmin/admin的默认密码为“Admin@123”，首次登录后会提示该密码过期，请按照提示修改密码并妥善保存。 5.执行以下命令，修改系统内部组件运行用户密码。此操作对所有服务器生效。 cpw 系统内部用户名 例如：cpw oms/manager 默认密码复杂度要求： 密码字符长度最小为8位。 至少需要包含大写字母、小写字母、数字、空格、特殊字符5种类型字符中的4种。支持的特殊字符为~!?,.;'(){}[]/<>@ $%^&+。 不可和用户名相同或用户名的倒序字符相同。 不可以为常见的易破解密码，例如Admin@12345。 不可与最近N次使用过的密码相同，N为配置密码策略中“重复使用规则”的值。此策略只影响“人机”用户。 说明 执行如下命令，可以查看用户的信息。 getprinc 系统内部用户名 例如：getprinc oms/manager 6.确认修改密码的用户，用户类型是哪种？ 用户类型为“机机”用户，执行7。 用户类型为“人机”用户，密码修改完成，任务结束。 7.登录FusionInsight Manager。 8.选择“集群 > 待操作的集群名称 > 更多 > 重启”。 9.在弹出窗口中，输入当前登录的用户密码确认身份，单击“确定”。 10.在确认重启的对话框中，单击“确定”。 11.等待界面提示重启成功。

本章主要介绍翼MapReduce的恢复OMS数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对FusionInsight Manager系统进行重大数据调整等操作后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，需要对Manager进行恢复数据操作。 管理员可以通过FusionInsight Manager创建恢复Manager任务。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的Manager数据。 对系统的影响 恢复过程中需要重启Controller，重启时FusionInsight Manager无法登录和操作。 恢复过程中需要重启所有集群，集群重启时无法访问。 Manager数据恢复后，会丢失从备份时刻到恢复时刻之间的数据，例如系统设置、用户信息、告警信息或审计信息。可能导致无法查询到数据，或者某个用户无法访问集群。 Manager数据恢复后，系统将强制各集群的LdapServer从OLadp同步一次数据。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 检查OMS资源状态是否正常，检查各集群的LdapServer实例状态是否正常。如果不正常，不能执行恢复操作。 检查集群主机和服务的状态是否正常。如果不正常，不能执行恢复操作。 检查恢复数据时集群主机拓扑结构与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 检查恢复数据时集群中已添加的服务与备份数据时是否相同。如果不相同，不能执行恢复操作，必须重新备份。 停止依赖集群运行的上层业务应用。

本节提供使用Flink运行wordcount作业的操作指导。 前提条件 翼MR集群中已安装Flink组件。 集群正常运行，已安装集群客户端，例如安装目录为“/user/local/flink”。以下操作的客户端目录只是举例，请根据实际安装目录修改。 使用Flink客户端 1. 安装客户端，具体请参考安装客户端章节。 2. 登录安装客户端的节点。 3. 执行以下命令，切换到客户端安装目录，例如“/user/local/flink”。 plaintext cd /user/local/flink 4. 执行如下命令初始化环境变量。 plaintext source bigdataenv 5. 集群默认开启Kerberos认证，需要将实际的keytab文件路径替换以下命令中的/path/example.keytab，执行命令进行认证。 plaintext kinit kt /path/example.keytab klist kt /path/example.keytab sed n 4p awk '{print $NF}' 同时，应配置安全认证。在“/usr/local/flink/conf/flinkconf.yaml”配置文件中的对应配置添加keytab路径以及用户名。 plaintext security.kerberos.login.useticketcache: true security.kerberos.login.keytab: security.kerberos.login.principal: user security.kerberossecurity.login.contexts: Client,KafkaClient 例如 plaintext security.kerberos.login.keytab: /etc/security/keytabs/hdfs.keytab security.kerberos.login.principal: hdfs 6. 运行wordcount作业。 1. 首先启动Flink集群。 plaintext /usr/local/flink/bin/startcluster.sh 2. Session模式：执行如下命令在session中提交作业。 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。 plaintext yarnsession.sh nm "sessionname" detachedflink run /usr/local/flink/examples/streaming/WordCount.jar 3. PerJob模式：执行如下命令以PerJob方式提交作业。 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。 plaintext flink run t yarnperjob detached /usr/local/flink/examples/streaming/WordCount.jar 4. Application模式：执行如下命令以Application方式提交作业。 提交成功后，会返回已提交的Flink作业的YARN Application ID以及Web地址，访问Web地址以通过Web UI的方式查看作业状态。 plaintext flink runapplication t yarnapplication/usr/local/flink/examples/streaming/WordCount.jar

本章主要介绍翼MapReduce的恢复NameNode数据功能。 操作场景 在用户意外修改、删除或需要找回数据时，系统管理员对NameNode进行重大操作（如升级、重大数据调整等）后，系统数据出现异常或未达到预期结果，模块全部故障无法使用，或者迁移数据到新集群的场景中，需要对NameNode进行恢复数据操作。 系统管理员可以通过FusionInsight Manager创建恢复NameNode任务并恢复数据。只支持创建任务手动恢复数据。 须知 只支持进行数据备份时的系统版本与当前系统版本一致时的数据恢复。 当业务正常时需要恢复数据，建议手动备份最新管理数据后，再执行恢复数据操作。否则会丢失从备份时刻到恢复时刻之间的NameNode数据。 建议一个恢复任务只恢复一个组件的元数据，避免因停止某个服务或实例影响其他组件的数据恢复。同时恢复多个组件数据，可能导致数据恢复失败。 HBase元数据不能与NameNode元数据同时恢复，会导致数据恢复失败。 对系统的影响 数据恢复后，会丢失从备份时刻到恢复时刻之间的数据。 恢复数据后需要重启NameNode，重启完成前NameNode不可访问。 恢复数据后可能导致元数据与业务数据无法匹配，HDFS进入安全模式且HDFS服务启动失败。 前提条件 如果需要从远端HDFS恢复数据，需要准备备集群。如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 登录FusionInsight Manager，请参见登录管理系统。 在FusionInsight Manager停止所有待恢复数据的NameNode角色实例，其他的HDFS角色实例必须保持正常运行，恢复数据后重启NameNode。NameNode角色实例重启前无法访问。 检查NameNode备份文件保存路径是否保存在主管理节点“ 数据存放路径 /LocalBackup/”。

本章节主要介绍翼MapReduce的添加用户并绑定租户的角色操作。 操作场景 创建好的租户不能直接登录集群访问资源，管理员需要通过FusionInsight Manager为已有租户创建新用户，通过绑定租户的角色继承其操作权限，以满足业务使用。 前提条件 管理员已明确业务需求，并已创建了租户。 操作步骤 1. 登录FusionInsight Manager，选择“系统 > 权限 > 用户”。 2. 若在系统中添加新的用户，请单击“添加用户”，打开添加用户的配置页面。 若为系统中已有的用户绑定租户权限，请单击该用户所在行的“修改”，打开修改用户的配置页面。 参见下表为用户配置属性。 用户参数一览 参数名 描述 用户名 指定当前的用户名，长度为3~32个字符，可包含数字、字母、下划线（）、中划线（）或空格。 “用户名”不能与集群各节点所有操作系统用户名相同，否则此用户无法正常使用。 不支持创建两个名称相同但大小写不同的用户。例如已创建用户“User1”，无法创建用户“user1”。使用“User1”时请输入正确的用户名。 用户类型 可选值包括“人机”和“机机”。 “人机”用户：用于在FusionInsight Manager的操作运维场景，以及在组件客户端操作的场景。选择该值需同时填写“密码”和“确认密码”。 “机机”用户：用于应用开发的场景。选择该值用户密码随机生成，无需填写。 密码 选择“人机”用户需填写“密码”。密码必须包含8~64个字符，至少包含以下类型字符中的四种：大写字母、小写字母、数字、特殊字符和空格。不能与用户名或倒序的用户名相同。 确认密码 再次输入密码。 用户组 单击“添加”，选择对应用户组将用户添加进去。 如果用户组添加了角色，则用户可获得对应角色中的权限。 例如，为新用户分配Hive的权限，请将用户加入Hive组。 主组 选择一个组作为用户创建目录和文件时的主组。下拉列表包含“用户组”中勾选的全部组。 角色 单击“添加”为用户绑定租户的角色。 说明 若一个用户想要获取使用“tenant1”租户包含的资源，且能够为“tenant1”租户添加/删除子租户，则需要同时绑定“Managertenant”和“tenant1集群ID”两个角色。 描述 配置当前用户的描述信息。 3. 单击“确定”完成用户创建。

本章节主要介绍翼MapReduce的修改服务配置参数操作。 操作场景 为了满足实际业务的需求，管理员可以在FusionInsight Manager中快速查看及修改服务默认的配置。请务必参照配置描述中的建议进行参数配置。 说明 集群中只剩下一个DBService角色实例时，不支持修改DBService服务的参数。 对系统的影响 配置服务属性后，如果服务状态为“配置过期”，则需要重启此服务，重启期间该服务不可用。 修改服务配置参数并重启生效后，需要重新下载并安装客户端，或者下载配置文件刷新客户端。例如HBase、HDFS、Hive、Spark、Yarn、Mapreduce。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 服务”。 3. 单击服务视图中指定的服务名称。 4. 单击“配置”。 默认显示“基础配置”，如果需要修改更多参数，请选择“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的一级节点分别为服务名称和角色名称。展开一级节点后显示参数分类。 例如下图所示，第一个“LdapServer”表示服务名称，配置项针对整个服务；第二个“SlapdServer”表示角色名称，配置项针对角色的全部实例。 配置参数导航树 5. 在导航树选择指定的参数分类，并在右侧修改参数值。 说明 对于端口类参数值请从右侧描述中的取值范围中选取，请确保同一个服务中所有参数项配置的值均在取值范围内且唯一，否则会导致服务启动失败。 不确定参数的具体位置时，支持在右上角输入参数名，Manager将实时进行搜索并显示结果。 6. 单击“保存”，并在确认对话框中单击“确定”。 等待界面提示“操作成功”，单击“完成”，配置已修改。 说明 更新Yarn服务队列的配置且不重启服务时，选择“更多 > 刷新队列”更新队列使配置生效。 配置Flume参数“flume.config.file”时，支持“上传文件”和“下载文件”功能。上传配置文件后旧文件将被覆盖，再下载文件只能获取新文件。如果未保存配置并重启服务，那么新文件设置未生效，请及时保存配置。 修改服务配置参数后如需重启服务使配置生效，可在服务页面单击右上角“更多 > 重启服务”。

本页为您介绍WPS云文档天翼云版的产品规格 产品规格 版本 提供方式 收费方式 规格 业务类型 WPS云文档天翼云版 标准版 SaaS 用户数订阅年份 含商业基础版所有功能 100GB/人安全存储 完整的文件安全管控和企业管理模块 支持订购、续订、不支持试用 WPS云文档天翼云版 高级版 SaaS 用户数订阅年份 含商业标准版所有功能 200GB/人安全存储 Office二次开发接口 1对1专属售后支持 支持订购、续订、不支持试用 WPS云文档天翼云版 基础版 SaaS 用户数订阅年份 无账号数上限 50GB/人安全存储 大文件上传（2G） 可禁止文件移动到企业外 支持订购、续订、不支持试用 WPS云文档天翼云版 WPS会员 SaaS 用户数订阅年份 75种文档格式转换 65项办公特权 支持订购、续订、不支持试用 WPS云文档天翼云版 稻壳会员 SaaS 用户数订阅年份 800万+办公模板免费下载海量字体、图标、图表、图片资源任性用尊享60+项特权服务 支持订购、续订、不支持试用 WPS云文档天翼云版 超级会员 SaaS 用户数订阅年份 含稻壳会员、普通会员权益 支持订购、续订、不支持试用 WPS云文档天翼云版 咨询服务 SaaS 用户数订阅年份 对于非结构化数据管理、企业内文档资产管理提供咨询服务 支持订购、续订、不支持试用

本章主要介绍翼MapReduce的更新omm用户ssh密钥功能。 操作场景 在安装集群时，系统将自动为omm用户生成ssh认证私钥和公钥，用来建立节点间的互信。在集群安装成功后，如果原始私钥不慎意外泄露或者需要使用新的密钥时，系统管理员可以通过以下操作手动更改密钥值。 前提条件 已停止集群。 修改时禁止同时进行其他管理类操作。 操作步骤 1.以omm用户登录到需要替换ssh密钥的节点。 如果该节点是Manager管理节点，务必在主管理节点上执行相关操作。 2.执行以下命令，防止超时退出。 TMOUT0 说明 执行完本章节操作后，请及时恢复超时退出时间，执行命令 TMOUT 超时退出时间 。例如： TMOUT600 ，表示用户无操作600秒后超时退出。 3.执行以下命令，为节点生成新的密钥： 如果当前节点是Manager管理节点，执行以下命令： sh ${CONTROLLERHOME}/sbin/updatesshkey.sh 如果当前节点是非管理节点，执行以下命令： sh ${NODEAGENTHOME}/bin/updatesshkey.sh 执行上述命令时界面提示“Succeed to update ssh private key.”信息，表示ssh密钥生成成功。 4.执行以下命令将该节点的公钥拷贝到主管理节点： scp ${HOME}/.ssh/idrsa.pub omsip:${HOME}/.ssh/idrsa.pubbak omsip：表示主管理节点IP。 根据提示输入omm用户密码完成文件拷贝。 5.以omm用户登录到主管理节点。 6.执行以下命令，防止超时退出： TMOUT0 7.执行以下命令，切换目录： cd ${HOME}/.ssh 8.执行以下命令添加新的公钥信息： cat idrsa.pubbak >> authorizedkeys 9.执行以下命令移动临时公钥文件到其他目录，例如，移动到“/tmp”目录。 mv f idrsa.pubbak /tmp 10.拷贝主管理节点的authorizedkeys文件到集群内其他节点： scp authorizedkeys nodeip:/${HOME}/.ssh/authorizedkeys nodeip：集群内其他节点IP，不支持多个IP。 11.执行以下命令无需输入密码确认私钥替换完成： ssh nodeip nodeip：集群内其他节点IP，不支持多个IP。 12.登录FusionInsight Manager，在“主页”中单击待操作集群名称后的“ > 启动”，启动集群。

本章主要介绍翼MapReduce的备份Hive业务数据功能。 操作场景 为了确保Hive日常用户的业务数据安全，或者系统管理员需要对Hive进行重大操作（如升级或迁移等），需要对Hive数据进行备份，从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复，将对业务的影响降到最低。 系统管理员可以通过FusionInsight Manager创建备份Hive任务。支持创建任务自动或手动备份数据。 Hive备份恢复功能不支持识别用户的Hive表、索引、视图等对象在业务和结构上存在的关联关系。用户在执行备份恢复任务时，需要根据业务场景管理统一的恢复点，防止影响业务正常运行。 Hive备份恢复功能不支持Hive on RDB数据表，需要在外部数据库中单独备份恢复原始数据表。 已创建的Hive备份任务且包含Hive on HBase表，如果本次备份任务在备集群的备份数据丢失，当下次执行增量备份时备份任务将失败，需要重新创建Hive的备份任务。若下次执行全量则备份正常。 前提条件 如果数据要备份至远端HDFS中，需要准备一个用于备份数据的备集群，认证模式需要与主集群相同。其他备份方式不需要准备备集群。 如果主集群部署为安全模式，且主备集群不是由同一个FusionInsight Manager管理，则必须配置系统互信，请参见配置跨Manager集群互信。如果主集群部署为普通模式，则不需要配置互信。 主备集群必须已配置跨集群拷贝，请参见启用集群间拷贝功能。 主备集群上的时间必须一致，而且主备集群上的NTP服务必须使用同一个时间源。 根据业务需要，规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。 检查备集群HDFS是否有充足的空间，备份文件保存的目录建议使用用户自定义的目录。 使用HDFS客户端，以“hdfs”用户执行hdfs lsSnapshottableDir检查当前集群中已创建HDFS快照的目录清单，确保待备份的数据文件所在HDFS路径的父目录或子目录不存在HDFS快照，否则无法创建备份任务。 如果数据要备份至NAS中，需要提前部署好NAS服务端。

本节介绍态势感知（专业版）支持接入的日志。 态势感知（专业版）支持集成多种云产品的日志数据。集成后，可以检索并分析所有收集到的日志。 支持接入的日志： 云服务 日志描述 日志 日志生命周期范围 Web应用防火墙（Web Application Firewall，WAF） 攻击日志 wafattack 7~30 天 Web应用防火墙（Web Application Firewall，WAF） 访问日志 wafaccess 7~30 天 态势感知（专业版） 合规基线日志 secmasterbaseline 7~10 天 对象存储服务（Object Storage Service，OBS） 访问日志 obsaccess 7~15 天 入侵防御系统（Intrusion Prevention System，IPS） 攻击日志 nipattack 7~180 天 统一身份认证（Identity and Access Management，IAM） 审计日志 iamaudit 7~180 天 企业主机安全（Host Security Service，HSS） 主机安全告警 hssalarm 7~180 天 企业主机安全（Host Security Service，HSS） 主机漏洞扫描结果 hssvul 7 天 企业主机安全（Host Security Service，HSS） 主机安全日志 hsslog 7~15 天 数据安全中心（Data Security Center，DSC） 告警日志 dscalarm 7~180 天 AntiDDoS流量清洗（AntiDDoS） 攻击日志 ddosattack 7~180 天 数据库安全服务（Database Security Service，DBSS） 告警日志 dbssalarm 7~180 天 云审计服务（Cloud Trace Service，CTS） 云审计服务日志 ctsaudit 7~180 天 云防火墙（Cloud Firewall，CFW） 访问控制日志 cfwblock 7~30 天 云防火墙（Cloud Firewall，CFW） 流量日志 cfwflow 7~15 天 云防火墙（Cloud Firewall，CFW） 攻击事件日志 cfwrisk 7~180 天 API网关（API Gateway） 访问日志 apigaccess 7~180 天