本章节主要介绍翼MapReduce的下载日志操作。 操作场景 FusionInsight Manager支持批量导出各个服务角色所有实例生成的日志，无需手工登录单个节点获取。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“运维 > 日志 ＞ 下载”。 3. 选择日志下载范围。 “服务”：单击勾选所需服务。 “主机”：填写服务所部署主机的IP，也可单击勾选所需主机。 单击右上角的设置日志的起始收集时间“开始时间”和“结束时间”。 4. 单击“下载”完成日志下载。 下载的日志压缩包中会包括对应开始时间和结束时间的拓扑信息，方便查看与定位。 拓扑文件以“topo .txt”命名。文件内容包括节点IP、节点主机名以及节点所安装的服务实例（OMS节点以“Manager:Manager”标识）。 例如： 192.168.204.124suse124DBService:DBServer;KrbClient:KerberosClient;LdapClient:SlapdClient;LdapServer:SlapdServer;Manager:Manager;meta:meta

本文将介绍如何使用边缘安全加速平台安全与加速服务的漏洞扫描功能。 功能介绍 通过天翼云监测系统平台，在无需用户采购任何Web应用扫描产品前提下，即可获得网站的漏洞态势，以及每个漏洞的详情介绍和修补建议，方便及时作出处置。 支持远程扫描Web漏洞和按照国际权威安全机构WASC分类的25种Web应用漏洞，全面覆盖OWASP Top 10 Web应用风险。 前提条件 已经订购边缘安全加速平台安全与加速服务，若未订购，请参见服务开通。 开通套餐为免费版及以上版本。 说明 默认脱敏显示您的联系方式等敏感信息，点击明文显示时，请您注意保护数据安全！ 新增漏洞扫描任务 1. 登录边缘安全加速平台控制台。 2. 在左侧导航栏中选择【安全能力】，进入【网站风险监测】菜单，并在左侧域名列表选择您要扫描的域名。 3. 支持两种配置扫描任务方式。 4. 如果您需要快速复制其他域名的扫描任务，可单击【域名资产概况】中的【快速配置监测任务】。 5. 如果您需要新增扫描任务，单击【新增】按钮。 配置项说明： 配置项 说明 任务名称 用户可自定义任务名称，支持中文、英文、数字、下划线，最长30个字符。 任务开关 用户开启或者关闭任务。 监测任务等级 扫描漏洞范围： 高危:监测站点是否有命令执行，SQL注入，XML注入，目录遍历与目录穿越，跨站脚本漏洞，反序列化漏洞等。 中危：监测站点是否有敏感数据泄漏，用户凭证明文传输，错误的安全配置等。 低危：监测站点有无TLS传输防护，cookie未受httponly保护等。 监测URL 扫描任务开始扫描的url，从该url开始访问，逐层扫描。 比如：起始url： 则: 一级链接表示： 等； 二级链接表示： 等； 三级链接表示： 等。 监测排除URL 设置不需要扫描的URL，如 http(s)://www.ctyun.cn/xxx 不进行漏洞检测。 定义HTTP头部 如果扫描域名需要登录，需要设置可获取登录凭证Header以自定义设置登录凭据。 接口扫描 如果包含API接口需要上传扫描对应的api接口文件。 监测计划 立即检测：任务创建完立即进行漏洞检测，不再重复执行检测 ； 单次：任务创建完在指定时间进行漏洞检测，检测完成即任务结束，不再重复执行检测 每天：任务创建完任务在每天指定时间进行检测 每周：任务创建完任务在指定周几的指定时间进行检测 每月：任务创建完任务在指定日期的指定时间进行检测 通知方式 支持邮件和短信通知。

本章节主要介绍翼MapReduce的资源概述操作。 MRS集群的资源分为计算资源和存储资源。多租户可实现资源的隔离： 计算资源 计算资源包括CPU和内存。租户之间不可以相互占用计算资源，私有计算资源独立。 存储资源 存储资源包括磁盘或第三方存储系统。租户之间不可以相互访问数据，私有存储资源独立。 计算资源 计算资源可分为静态服务资源和动态资源： 静态服务资源 静态服务资源是集群分配给各个服务的计算资源，每个服务的计算资源总量固定，不与其他服务共享，是静态的。这些服务包括Flume、HBase、HDFS和Yarn。 动态资源 动态资源是分布式资源管理服务Yarn动态调度给任务队列的计算资源。Mapreduce、Spark2x、Flink和Hive的任务队列由Yarn来动态调度资源。 说明 大数据集群为Yarn分配的资源是静态服务资源，可以由Yarn动态分配给任务队列计算使用。 存储资源 存储资源是分布式文件存储服务HDFS中可分配的数据存储空间资源。目录是HDFS存储资源分配的基本单位，租户通过指定HDFS文件系统的目录来获取存储资源。

本章主要介绍翼MapReduce的解锁LDAP用户和管理帐户功能。 操作场景 管理员在LDAP用户和管理帐户被锁定时，需要在管理节点解锁集群LDAP用户“cnpgsearchdn,ouUsers,dchadoop,dccom”以及LDAP管理帐户“cnkrbkdc,ouUsers,dchadoop,dccom”和“cnkrbadmin,ouUsers,dchadoop,dccom”。 说明 Ldap用户或管理帐户连续使用错误密码操作Ldap次数大于5次时，会造成LDAP用户或管理帐户被锁定。用户被锁定之后，5分钟后会自动解锁。 操作步骤 1.以omm用户登录主管理节点。 2.执行以下命令，切换到目录： cd ${BIGDATAHOME}/omserver/om/ldapserver/ldapserver/local/script 3.执行以下命令，解锁LDAP用户或管理帐户： ./ldapserverunlockUsers.sh USERNAME 其中，USERNAME表示将要解锁的用户名称。 例如，解锁LDAP管理帐户“cnkrbkdc,ouUsers,dchadoop,dccom”的方法如下： ./ldapserverunlockUsers.sh krbkdc 运行脚本之后，在ROOTDNPASSWORD之后输入krbkdc用户密码，显示如下结果，说明解锁成功： Unlock user krbkdc successfully.

主要介绍翼MapReduce服务的产品价格。 普通版集群 通用计算型（服务管理费用） 规格名称 核数 内存 按需计费（元/节点/小时） 包月计费（元/节点/月） ::::: s3.4xlarge.4 16核 64GB 0.624 299 通用计算增强型（服务管理费用） 规格名称 核数 内存 标准资 费（元/节点/小时） 包月计费 （元/节点/月） ::::: c6.2xlarge.4 8核 32GB 0.312 149 c6.4xlarge.4 16核 64GB 0.624 299 c6.8xlarge.4 32核 128GB 0.702 337 c6.16xlarge.4 64核 256GB 0.702 337 c6s.4xlarge.2 16核 32GB 0.624 299 c6s.4xlarge.4 16核 64GB 0.624 299 c6s.8xlarge.4 32核 128GB 0.702 337 c6s.16xlarge.4 64核 256GB 0.702 337 c7n.4xlarge.4 16核 64GB 0.624 299 c7n.6xlarge.4 24核 96GB 0.702 337 c7n.8xlarge.4 32核 128GB 0.702 337 c7n.12xlarge.4 48核 192GB 0.702 337 c7n.16xlarge.4 64核 256GB 0.702 337 c7n.24xlarge.4 96核 384GB 0.702 337

本章节主要介绍翼MapReduce的恢复租户数据操作。 操作场景 租户默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，管理员需要通过FusionInsight Manager手动恢复配置数据。 操作步骤 1. 登录FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击某个租户节点。 3. 检查租户数据状态。 在“概述”，查看“租户资源状态”，绿色表示租户可用，灰色表示租户不可用。 单击“资源”，查看“Yarn”或者“HDFS存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4. 单击，在弹出的确认窗中输入当前登录的用户密码确认身份，单击“确定”。 5. 在“恢复租户资源数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

本章节主要介绍翼MapReduce的恢复租户数据操作。 操作场景 租户默认在Manager和集群组件中保存相关数据，在组件故障恢复或者卸载重新安装的场景下，所有租户的部分配置数据可能状态不正常，管理员需要通过FusionInsight Manager手动恢复配置数据。 操作步骤 1. 登录FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，单击某个租户节点。 3. 检查租户数据状态。 在“概述”，查看“租户资源状态”，绿色表示租户可用，灰色表示租户不可用。 单击“资源”，查看“Yarn”和“HDFS存储”左侧的圆圈，绿色表示资源可用，灰色表示资源不可用。 单击“服务关联”，查看关联的服务表格的“状态”列，“良好”表示组件可正常为关联的租户提供服务，“故障”表示组件无法为租户提供服务。 任意一个检查结果不正常，需要恢复租户数据，请执行步骤4。 4. 单击，在弹出的确认窗中输入当前登录的用户密码确认身份，单击“确定”。 5. 在“恢复租户资源数据”窗口，选择一个或多个需要恢复数据的组件，单击“确定”，等待系统自动恢复租户数据。

本文介绍横向扫描防护的适用场景和配置方法。 基本概念介绍 横向扫描主要指的是黑客在利用某个漏洞获取网络访问权后，进行收集系统其他信息来实施精确的攻击行为。例如员工点击钓鱼邮件导致办公电脑被安装了远控木马，黑客利用员工电脑上VPN内网环境，进而对企业的内网进行横向扫描，扫描如果没有合适的预防措施，则可能导致黑客获取某个点的访问权后，扩大攻破其他点，造成影响面扩大。 功能说明 针对横向扫描的行为进行设定不同策略模版，如IP类横向渗透防护、域名类横向渗透防护，支持针对单用户账号，设备，相同公网IP进行不同协议、端口、地址的组合判断其频次，若高于异常则进行阻断或挑战认证。同时，网关支持接收处置动作的取消处置，并把取消处置动作下发给对应客户端。该功能是实时统计，达到阈值立即处置。 配置说明 参数 说明 处置粒度 支持根据设备，账号，公网IP三种类型作为处置粒度，会对所选粒度的访问行为进行统计和处置，其中设备是关联到账号的最小处置粒度 ，处置粒度选择为设备时只会对触发规则的账号当前登录设备进行处置，当处置粒度为账号时，在处置动作生效时期，该账号登录其他设备同样会被处置。 统计粒度 统计上方所选处置粒度在周期内对该统计粒度不同地址的请求次数，支持按照域名+端口或协议+IP+端口两种粒度。 统计周期 单位秒。 访问次数 单位次数。 处置时间 单位秒。 处置动作 监控：仅监控观察，不对网络连接、访问权限进行任何干预。 挑战认证：需通过配置的认证方式完成身份认证，才能继续访问内网。 禁止访问内网：关闭对内网环境资源的访问权限，即无法连接公司 / 单位内部系统、共享文件等内网资源。 注销登录：退出当前客户端登录状态，若账号不符合安全要求，将持续触发注销。 提示语 针对不同处置动作均默认设置有对应提示语，可进行自定义修改。

本章主要介绍翼MapReduce的配置HBase允许修改操作的IP地址白名单功能。 当HBase集群开启Replication功能时，为了保护主备集群的HBase数据一致性，对备集群HBase增加了数据修改操作的保护。当备集群HBase接收到数据修改操作的RPC请求时，首先检查发出该请求的用户的权限，只有HBase管理用户才有修改权限；其次检查发出该请求的IP的有效性，备集群只接收来自IP白名单中的机器发起的修改请求。IP白名单通过配置项“hbase.replication.allowedIPs”配置。 参数修改入口：在FusionInsight Manager系统中，选择“集群 > 待操作集群的名称 > 服务 > 服务名 > 配置”，展开“全部配置”页签。在搜索框中输入参数名称。 详见下表：参数说明 配置参数 说明 默认值 hbase.replication.allowedIPs 仅允许指定IP地址的复制请求。支持逗号分隔型regex模式。以下模式均支持： Regex模式例如: 10.18.40. , 10.18. , 10.18.40.11 Range模式（只能指定八位字节的最后一个的范围）例如: 10.18.40.[1020] 参数值默认为空，为空时IP白名单为备集群RegionServer的IP，表示只接受来自备集群RegionServer的修改请求。 N/A

本章节主要介绍翼MapReduce的批量刷新hosts文件操作。 操作场景 在FusionInsight Manager界面上下载的客户端包中包含客户端批量升级工具，该工具在提供批量升级客户端功能的同时，也提供了轻量级的批量刷新客户端所在节点“/etc/hosts”文件的功能。 前提条件 更新前准备请参考批量升级客户端章节“客户端升级前准备”步骤。 批量更新hosts文件 1. 检查需要更新“/etc/hosts”文件的节点的配置用户是否为“root”。 是，执行步骤2。 否，更改配置用户为“root”，再执行步骤2。 2. 执行 sh clientbatchupgrade.sh r f /tmp/FusionInsightClient/FusionInsightCluster1ServicesClient.tar g /tmp/FusionInsightClient/FusionInsightCluster1ServicesClientConfig/batchupgrade/clientinfo.cfg ，批量刷新客户端所在节点的“/etc/hosts”文件。 说明 执行批量刷新“/etc/hosts”文件时，输入的客户端包可以是完整客户端，也可以是仅包含配置文件的客户端软件包，推荐使用仅包含配置文件的客户端软件包。 需要更新“/etc/hosts”文件的主机所配置的用户必须为root用户，否则会刷新失败。

本章节主要介绍翼MapReduce服务导出服务日志。 操作场景 该任务指导用户从MRS Manager导出各个服务角色生成的日志。 前提条件 用户已经获取帐号对应的Access Key ID（AK）和Secret Access Key（SK）。 用户已经在帐号的对象存储服务（OBS）中创建了并行文件系统。 操作步骤 在MRS Manager，单击“系统设置”。 1. 单击“维护”下方的“日志导出”。 2. “服务”选择服务，“主机”填写服务所部署主机的IP，“开始时间”与“结束时间”选择对应的开始与结束时间。 3. 在“导出类型”选择一个日志保存的位置。只有启用了Kerberos认证的集群支持选择。 “下载到本地”：表示将日志保存到用户当前的本地环境。然后执行步骤8。 “上传到OBS”：表示将日志保存到OBS中。默认值。然后执行步骤5。 4. 在“OBS路径”填写服务日志在OBS保存的路径。 需要填写完整路径且不能以“/”开头，路径可以不存在，系统将自动创建。OBS的完整路径最大支持900个字节。 5. 在“桶名”输入已创建的OBS文件系统名称。 6. 在“AK”和“SK”输入用户的Access Key ID和Secret Access Key。 7. 单击“确定”完成日志下载。

本章节主要介绍翼MapReduce的告警与事件操作。 告警 登录FusionInsight Manager，选择“运维 > 告警 > 告警”，进入如下图所示的界面，用户可以查看FusionInsight Manager中各集群上报的告警信息，包括告警名称、ID、级别、产生时间等信息，默认每页显示最近的十条告警。 单击指定告警名称左侧的，展开完整告警信息参数，各项说明如下表所示。 告警参数 告警参数 说明 告警ID 告警信息的ID。 告警名称 告警信息的名称。 告警级别 包含紧急、重要、次要、提示四项级别。 产生时间 产生告警的时间。 清除时间 告警检测到已清除的时间。如果未清除，则显示为“”。 来源 集群名称。 对象 触发告警的服务、进程或模块。 是否自动清除 能够在问题修复后自动清除告警。 告警状态 告警当前状态，包含自动清除、手动清除、未清除。 告警原因 告警可能的原因提示。 序列号 系统产生的告警计数。 附加信息 相关报错信息。 定位信息 定位告警的详细信息。主要包含以下信息： 来源：产品告警的集群 服务名：产生告警的服务名称 角色名：产生告警的角色名称 主机名：产生告警的主机名

本节介绍了云容器引擎的最佳实践:有状态工作负载配置存储实践。 对于有状态应用实例需要持久化状态，每个实例有其独特的身份和持久化的数据存储。有状态应用的存储使用跟其他的工作负载存在差异。 使用方法 有状态应用PVC使用方法选择包括:已有存储卷申明（PVC）和存储卷申明模版（VolumeClaimTemplate）。 已有存储卷声明（PVC）方式较少使用，适用于有状态工作负载的多个副本共享同一PVC的场景。但实际需求中，要求每个副本具备独立存储的情况并不常见。 存储卷声明模板（VolumeClaimTemplate）是有状态工作负载特有的配置项。通过在该工作负载中定义模板，K8S会在创建每个副本时自动生成一个与之对应的PVC，命名规则为{存储声明模板名称}{有状态工作负载名称}{序号}。本文将重点阐述此方法。 注意 有状态工作负载删除后，其关联的PVC会保留。若用户确认不再需要，需手动删除这些PVC。（可通过启用K8S特性门控StatefulSetAutoDeletePVC为true，实现有状态工作负载删除后自动清理PVC）。 若不删除PVC，后续在同一命名空间内创建同名有状态工作负载并使用同名存储卷声明模板时，新工作负载将自动复用原有的PVC。 1. 点击“创建存储卷申明模版”. 2. 定义模版的存储申明类型、已有存储类、容量、卷模式、访问模式. 存储申明类型： 天翼云各类型的产品，用户根据需要自行选择对应的产品。 已有存储类： 用户需要提前创建好产品对应的存储类，用于动态分配。 容量： 存储容量大小 卷模式： 文件系统（Filesystem）：默认方式，该类型卷会被 Pod 挂载（Mount） 到某个目录。 如果卷的存储来自某块设备而该设备目前为空，Kuberneretes 会在第一次挂载卷之前在设备上创建文件系统。 块设备（Block）： 这类卷以块设备的方式交给 Pod 使用，其上没有任何文件系统。 这种模式对于为 Pod 提供一种使用最快可能方式来访问卷而言很有帮助， Pod 和卷之间不存在文件系统层。目前仅云硬盘支持该功能 访问模式： 单机读写（ReadWriteOnce）：卷可以被一个节点以读写方式挂载 多机只读（ReadOnlyMany）：卷可以被多个节点以只读方式挂载 多机读写（ReadWriteMany）：卷可以被多个节点以读写方式挂载 3. 创建了一个有状态负载test，存储卷申明模版如下： 4. 有状态工作负载成功启动。 5. 查看pod的yaml，可以看到test1的pod，使用了disktest1这个PVC。 6. PVC列表中，两个PVC均被创建出来并且bound。

子账号使用流程 前置条件 子账号为IAM普通用户角色且已登录到一站式智算平台 主账号使用流程 若子账号为IAM管理员角色，则其拥有全部操作权限，操作流程和主账号别无二致，故角色为IAM管理员的子账号使用流程参见主账号使用流程章节；角色为IAM普通用户的子账号，使用流程如下： 子账号的使用流程主要是为了进行任务作业，具体步骤如下： 流程 子任务 说明 详细指导 数据集准备与处理 创建基础数据集 可上传基础数据集到ZOS或HPFS 基础数据集 数据集准备与处理 创建标注数据集 创建标注数据集，可对数据集进行标注，并发布为新的数据集 标注数据集 数据集准备与处理 数据清洗 可以对数据 数据处理 镜像准备 预置镜像 预置镜像即平台预先设置的完整镜像，可直接用于创建任务时使用 预置镜像 镜像准备 自定义镜像 可以通过开发机自主制作镜像或通过天翼云容器镜像服务将镜像服务内的容器共享给一体化智算平台 自定义镜像 镜像准备 他人分享镜像 可将自己的镜像分享给他人使用 镜像分享 代码准备 导入代码包 将代码上传到平台 我的代码包 模型准备 导入模型 可将用户自己的模型或在平台训练、精调好的模型导入到平台进行版本管理、评估及部署 我的模型 AI作业 模型开发 可通过启动和管理在线JupyterLab或VSCode集成开发环境在线编程进行模型开发 开发机 AI作业 模型训练 创建自定义创建训练任务，支持单机和多机分布式训练 训练任务 AI作业 模型精调 零代码快速创建和管理精调任务，提供全参微调和lora微调两种精调方式。基于平台的基础大模型，选择训练数据集和算力即可快速启动精调任务。 模型精调 AI作业 模型评估 可对模型进行评估，自动评估打分，生成评估报告 模型评估 AI作业 模型压缩 不减少模型效果的前提下压缩模型大小，进而提升模型在推理调用时的性能 模型压缩 AI作业 模型部署 部署模型，提供推理服务 模型服务 AI作业 体验模型 可以对预置模型和自己部署的模型进行体验 体验中心 综合管理 工作空间管理 查看工作空间相关信息，若是工作空间的管理员可以进行相关操作 工作空间 综合管理 操作审计 对平台操作事件进行跟踪 操作审计

本章节主要介绍翼MapReduce的资源监控操作。 集群中部分服务提供服务级别的资源监控项，默认显示12小时的监控数据。用户可单击自定义时间区间，缺省时间区间包括：12小时、1天、1周、1月。单击可导出相应报表信息，无数据的监控项无法导出报表。支持资源监控的服务及监控项如下表所示。 登录FusionInsight Manager以后，选择“集群 > 待操作集群的名称 > 服务”后，选择待操作的服务，单击“资源”，进入资源监控页面。 服务资源监控 服务 监控指标 说明 HDFS 资源使用（按租户） l 按租户统计HDFS的资源使用情况。 l 可选择按“容量”或“文件对象数”观察。 HDFS 资源使用（按用户） l 按用户统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件对象数”观察。 HDFS 资源使用（按目录） l 按目录统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件对象数”观察。 l 单击配置空间监控，可以指定HDFS文件系统目录进行监控。 HDFS 资源使用（按副本） l 按副本数统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件数”观察。 HDFS 资源使用（按文件大小） l 按文件大小统计HDFS的资源使用情况。 l 可选择按“已使用容量”或“文件数”观察。 HDFS 回收站（按用户） l 按用户统计HDFS回收站的使用情况。 l 可选择按“回收站容量”或“文件对象数”观察。 HDFS 操作数 l 统计HDFS中操作数。 HDFS 自动balance l 统计HDFS自动balancer的执行速度以及本次balancer当前迁移的总容量大小。 HDFS NameNode RPC连接数（按用户） l 按用户统计连接到NameNode的Client RPC请求中，各个用户的连接数。 HDFS 慢DataNode节点 集群中数据传输或处理慢的DataNode节点。 HDFS 慢磁盘 集群中DataNode节点上数据处理慢的磁盘。 HBase 表级别操作请求次数 所有RegionServer上的所有表中put、delete、get、scan、increment、append操作请求次数。 HBase RegionServer级别操作请求次数 RegionServer中put、delete、get、scan、increment、append操作请求次数以及所有操作请求次数。 HBase 服务级别操作请求次数 RegionServer上所有Region中put、delete、get、scan、increment、append操作请求次数。 HBase RegionServer级别HFile数 所有RegionServer中HFile数。 Hive HiveServer2BackgroundPool线程数（按IP） 周期内统计并显示Top用户的HiveServer2BackgroundPool线程数。 Hive HiveServer2HandlerPool线程数（按IP） 周期内统计并显示Top用户的HiveServer2HandlerPool数监控。 Hive MetaStore使用数（按IP） Hive周期内统计并显示Top用户的MetaStore使用数。 Hive Hive的Job数 Hive周期内统计并显示用户相关的Job数目。 Hive Split阶段访问的文件数 统计Hive周期内Split阶段访问底层文件存储系统（默认：HDFS）的文件数。 Hive Hive基本操作时间 Hive周期内统计底层创建目录（mkdirTime）、创建文件（touchTime）、写文件（writeFileTime）、重命名文件（renameTime）、移动文件（moveTime）、删除文件（deleteFileTime）、删除目录（deleteCatalogTime）所用的时间。 Hive 表分区个数 Hive所有表分区个数监控，返回值的格式为：数据库

本章节主要介绍翼MapReduce的删除租户操作。 操作场景 根据业务需求，对于当前不再使用的租户，管理员可以通过FusionInsight Manager删除租户，释放租户占用的资源。 前提条件 已添加租户。 检查待删除的租户是否存在子租户，如果存在，需要先删除全部子租户，否则无法删除当前租户。 待删除租户的角色，不能与任何一个用户或者用户组存在关联关系。 操作步骤 1. 登录FusionInsight Manager，单击“租户资源”。 2. 在左侧租户列表，选择待删除的租户，单击。 说明 根据业务需求，需要保留租户已有的数据时请同时勾选“保留该租户的数据。”，否则将自动删除租户对应的存储空间。 如果使用不属于supergroup组的用户执行删除租户操作，并且不保留租户数据，需要使用属于supergroup组的用户登录HDFS客户端，手动清理租户对应的存储空间，以免数据残留。 3. 单击“确定”，删除租户。 保存配置需要等待一段时间，租户成功删除。租户对应的角色、存储空间将删除。 说明 租户删除后，Yarn中对应的租户任务队列不会被删除。同时Yarn角色管理中，此租户任务队列不再显示。

本章节主要介绍翼MapReduce的管理配置过期操作。 操作场景 某个新的配置需要同时下发到集群所有服务，或修改某项配置后导致多个不同服务的“配置状态”为“配置过期”或“失败”时，表示这些服务的配置参数值未同步且未生效，管理员可以对集群执行同步配置功能，并在同步配置后重启相关服务实例，使所有服务启用新的配置参数。 若集群中服务配置均已同步但未生效，需重启配置过期的实例。 对系统的影响 集群执行同步配置后，需要重启配置过期的服务。重启时对应的服务不可用。 重启配置过期的实例时，该实例不可用。 操作步骤 同步配置 1. 登录FusionInsight Manager。 2. 选择“集群 > 待操作集群的名称 > 概览”。 3. 选择“更多 > 同步配置”。 4. 在弹出窗口中单击“确定”，开始为当前集群同步配置。 重启配置过期的实例 1. 选择“更多 > 重启配置过期的实例”。 2. 在弹出窗口中输入当前登录的用户密码确认身份，然后单击“确定”。 3. 在确认重启实例的对话框中单击“确定”。 支持单击“查看实例”打开所有配置已过期的实例列表，确认可以执行重启任务。

本章节主要介绍翼MapReduce的查看主机列表操作。 总览 登录FusionInsight Manager以后，单击“主机”后，打开主机管理页面，可查看主机列表及基本信息。 用户可切换视图类型，以及设置条件筛选和搜索主机。 切换视图 单击“角色视图”，可直观查看各主机上当前已部署的角色。如果该角色支持主备模式，则角色名称显示为加粗。 主机列表 主机管理页面的主机列表包含了所有集群中所有主机，并支持对主机进行相关运维操作。 在主机管理页面，可通过节点类型或所属集群筛选主机，对主机类型的筛选规则为： 管理节点为部署了OMS的节点，同时管理节点上也可能部署控制角色和数据角色。 控制节点为部署控制角色的节点，同时控制节点上也可能部署数据角色。 数据节点为仅部署数据角色的节点。 系统默认为“主机视图”，可显示每个主机的IP地址信息、机架规划信息、运行状态、所归属集群以及硬件资源等使用情况。 主机运行状态 状态 说明 良好 表示主机当前状态正常。 故障 表示主机当前无法正常工作。 未知 表示主机的初始状态信息无法检测。 已隔离 表示主机处于隔离的状态。 已停机 表示主机处于停机的状态。

本文主要介绍云日志服务如何进行通知策略管理。 通知策略包含通知对象、通知模板与通知时段，当告警触发时，只要不符合静默策略，就会根据所配置的通知策略在对应渠道发送告警信息给对应的通知对象。本文介绍如何创建通知策略。 前提条件 已完成通知组配置，详情请查看通知组管理。 操作步骤 1. 登录云日志服务控制台。 2. 左侧导航栏点击告警管理通知策略模块。 3. 点击【创建通知策略】。 4. 在页面中输入通知策略名称。 5. 点击【添加通知对象】，可添加联系人、联系人组、翼连、webhook四种类型的通知对象，每种类型下可添加具体通知对象。 6. 检查通知模板，您可根据实际情况修改不同渠道的通知模板内容。 7. 设置通知时段，告警信息只在您配置的时段进行通知，不配置默认全天通知时段。 8. 点击【确定】，完成通知策略创建。

本文主要介绍基于天翼云海量文件服务,如何在不同资源池之间实现海量文件系统之间的数据迁移。 应用场景 本文适用于在不同地域（资源池）不同VPC的海量文件系统之间的数据迁移。例如当您需要将业务从A省迁移至B省的资源池，以提高访问效率。 前提条件 已拥有两个NFS协议的海量文件系统。两个资源池的海量文件系统分别作为源文件系统和目标文件系统，源文件系统指含业务数据的源文件系统，目标文件系统指即将投入使用的新文件系统。 准备一台与源文件系统在同一VPC网络下的弹性云主机和一台与目标文件系统在同一VPC网络下的弹性云主机，并为这两台弹性云主机配置弹性IP，以实现基于公网的数据迁移。 准备工作 在两个资源池分别创建一个海量文件系统和一台弹性云主机，具体操作请参考创建海量文件系统、创建弹性云主机。 将文件系统分别挂载海量文件系统至弹性云主机，具体操作请参考使用弹性云主机挂载海量文件系统。 操作步骤 不同资源池的两个海量文件系统之间的数据迁移可以分为几个关键步骤： 挂载文件系统 > 安装迁移工具 >迁移存量数据> 迁移增量数据源> 迁移结果检查 。具体操作步骤如下： 1. 将两个资源池的海量文件系统分别挂载到对应云主机。 将海量文件系统挂载至云主机中，这里设定资源池1为源文件系统，将其挂载到同一资源池弹性云主机的“/mnt/localpath/”目录上，资源池2为目标文件系统，同样将其挂载到同一资源池的弹性云主机的 “/mnt/localpath/”目录上。 2. 安装迁移工具。 执行以下命令安装rsync命令工具： plaintext yum install y rsync 3. 迁移存量数据。 执行以下命令，将资源池1海量文件系统中的数据迁移到资源池2中： plaintext rsync avP /mnt/localpath/ root@IP:/mnt/localpath/ 我们还可以利用rsync并发拷贝迁移数据，由于并发操作，每个ssh连接操作均要求输入密码，因此在并发迁移数据过程中会要求多次输入密码，这里我们配置无需密码通过ssh执行rsync来迁移文件。在资源池1中的弹性云主机中执行 sshkeygen命令生成密钥，之后使用sshcopyid将公钥拷贝至资源池2的弹性云主机，执行以下命令： plaintext sshkeygensshcopyid i ~/.ssh/idrsa.pub IP 执行以下命令，实现并发数据迁移： plaintext threads ; src ; dest ; rsync av f"+ /" f" " $src $dest && (cd $src && find . type f print0 xargs 0 n1 P$threads I% rsync av % $dest/%) 4. 迁移增量数据。 执行以下命令，实现增量数据的迁移： plaintext rsync avP delete /mnt/localpath/ root@IP:/mnt/localpath/ 5. 检查迁移结果。 在完成数据迁移后，执行以下命令： plaintext rsync rvn /mnt/localpath/ root@IP:/mnt/localpath/ 如果源文件系统与目标文件系统数据一致，则应显示上面信息，中间不包含任何文件路径。

本节介绍了用户指南:使用OceanFS动态存储卷(subPath模式)。 云容器引擎支持使用天翼云海量文件存储持久卷。cstorcsi插件支持使用海量文件服务动态存储卷和静态存储卷，通过将存储卷挂载到容器指定目录，以满足数据持久化需求。 subPath模式是指将海量文件存储中的指定子目录作为持久卷使用。当用户挂载持久卷声明时，持久卷中记录的子目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 参见海量文件使用限制 通过控制台使用海量文件动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 模式 新建海量文件：每次创建持久卷申明时，均创建一个新的海量文件与之对应。 新建子目录：基于某个已经存在的海量文件，每次创建持久卷申明时，在这个海量文件上创建一个子目录与之对应。 选择新建子目录模式。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，仅支持Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意：请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 参数 海量文件名称：需要选择一个海量文件，后续会基于该海量文件分配子目录 子目录回收策略： 保留：当持久卷被csi删除时，会保留子目录在文件存储中，不做删除。默认为该选项。 删除：当持久卷被csi删除时，会删除文件存储中对应的子目录，数据无法恢复。 注意 删除子目录属于高危操作，请谨慎选择“删除”子目录回收策略。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

概念 说明 生产站点 正常情况下承载业务的数据中心机房，可以独立运行，对业务的正常运作起到直接支持作用。对于异步复制，生产站点指的是用户的本地数据中心。 容灾站点 正常情况下不直接承载业务的机房，主要用于数据实时备份，在生产站点发生故障（计划性和非计划性）时可以通过执行容灾切换来接管业务，地理上不一定与业务管理中心接近，可以在同一个城市，也可以在不同的城市。 保护组 用于管理一组需要复制的服务器。一个保护组可以管理一个虚拟私有云下的服务器，租户拥有多个虚拟私有云时则需要创建多个保护组。 保护实例 一对拥有复制关系的服务器。保护实例仅属于一个特定的保护组，因此这对服务器所在位置与保护组的生产站点或容灾站点相同。 VBD VBD（Virtual Block Device）是云硬盘磁盘模式的一种。云硬盘的磁盘模式默认为VBD类型。VBD类型的云硬盘只支持简单的SCSI读写命令。适用于企业的日常办公应用以及开发测试等场景。 SCSI SCSI（Small Computer System Interface）是云硬盘磁盘模式的一种。SCSI类型的云硬盘支持SCSI指令透传，允许云服务器操作系统直接访问底层存储介质。除了简单的SCSI读写命令，SCSI类型的云硬盘还可以支持更高级的SCSI命令，例如持久锁预留，适用于通过锁机制保障数据安全的集群应用场景。 RPO 恢复点目标，一种业务切换策略，是数据丢失最少的容灾切换策略。以数据恢复点为目标，确保容灾切换所使用的数据为最新的备份数据。 RTO 恢复时间目标，为使中断对业务所带来的冲击最小化，关键业务从中断时点恢复到预定可接受水平上的目标时间。具体体现为，从生产站点发起切换或故障切换操作起，至容灾站点的服务器开始运行为止的一段时间，不包括手动操作DNS配置，安全组配置或执行客户脚本等任何时间，RTO小于30分钟。 容灾演练 为了确保一旦发生故障切换后，容灾机能够正常接管业务而进行的操作。 通过容灾演练，模拟真实故障恢复场景，制定应急恢复预案，当真实故障发生时，通过预案快速恢复业务，提高业务连续性。

参数 参数类型 说明 示例 下级对象 id String 集群id 8571aa313aaf77d45bf6765805a9ce55 managerClusterId Integer manager定义的集群id 1 iaasType String 平台 公有云 regionId String 资源池id bb9fdb42056f11eda1610242ac110002 regionName String 资源池名称 华东1 availableZoneId String 可用区id cnhuadong1jsnj1Apublicctcloud availableZoneName String 可用区名称 可用区1 clusterName String 集群名称 testvpc24 payType String 付费类型 包年包月 clusterType String 集群类型 云搜索 clusterTypeVersion String 产品版本 翼MR2.12.0 clusterPlanCode String 集群规划编码 cloudsearch componentNameList String 组件名称列表 [{componentTitle:ElasticSearch,version:7.10.2},{componentTitle:Kibana,version:7.10.2}]] datasourceConfigs String 数据源信息 [] vpcId String vpc id vpc0k5xl6w5 subnetId String 子网id subneti2ys8sp securityGroupId String 安全组id [sg4h7w9cl1] loginType String 登录方式 PASSWORD clusterDueTime Integer 集群到期时间 1709193751000 userId String 用户id ba14c8e729e447d69698f81ac7d55555 accountId String 账号id ed24e4b414a048b0a9cb995f59cc85jj clusterCreateTime Integer 集群创建时间 1706515357000 clusterState String 集群状态 运行中 managerVersion String manager版本号 2.15.1 enableIpv6 String Ipv6是否开启(OPEN:打开, CLOSE:关闭, NOTDISPLAY:不展示,null:不展示) OPEN createTime Integer 创建时间 1706515356000 updateTime Integer 更新时间 1706515356000 autoRenewStatus Integer 是否开启自动续订的状态(0:不自动续订,1:自动续订) 0

本章主要介绍翼MapReduce的修改组件数据库用户密码功能。 操作场景 建议管理员定期修改组件数据库用户的密码，以提升系统运维安全性。 对系统的影响 修改密码需要重启服务，服务在重启时无法访问。 操作步骤 1.在FusionInsight Manager选择“集群 > 待操作的集群名称 > 服务”。 2.确定修改哪个组件数据库用户密码。 修改DBService数据库omm用户密码，参考修改DBService数据库omm用户密码章节进行操作，修改其他组件数据库用户密码，需要先停止服务再执行3。 3.单击待修改数据库用户密码的服务，选择“更多 > 修改数据库密码”，在弹出窗口中输入当前登录的用户密码确认身份，单击“确定”。 4.根据界面信息，输入新旧密码。 密码复杂度要求： 组件数据库用户密码字符长度为8～32。 至少需要包含大写字母、小写字母、数字、特殊字符~!@$%^&()+[{}];", /?中的3种类型字符。 不可和用户名相同或用户名的倒序字符相同。 不可与前20个历史密码相同。 5.勾选“我已阅读此信息并了解其影响”，单击“确定”。 6.密码修改完成后，选择“更多 > 重启服务”，在弹出窗口中输入当前登录的用户密码，单击“确定”，勾选“同时重启上层服务。”，单击“确定”开始重启服务。

本章节主要介绍翼MapReduce服务LdapServer健康检查指标项说明。 SlapdServer服务可用性检查 指标项名称： SlapdServer服务可用性 指标项含义： 系统对SlapdServer服务状态进行检查。如果检查结果不正常，则SlapdServer服务不可用。 恢复指导： 如果该指标项检查结果不正常，原因可能是SlapdServer服务所在节点故障或者SlapdServer进程故障。操作人员进行SlapdServer服务恢复时，请尝试如下操作： 检查SlapdServer服务所在节点是否故障。详细操作请参见告警ALM12006处理。 检查SlapdServer进程是否正常。详细操作请参见告警ALM12007处理。 服务健康状态 指标项名称： 服务状态 指标项含义 ：系统对LdapServer服务状态进行检查。如果检查结果不正常，则LdapServer服务不可用。 恢复指导： 如果该指标项检查结果不正常，原因可能是主LdapServer服务所在节点故障或者主LdapServer进程故障。详细操作请参见告警ALM25000处理。 检查告警 指标项名称： 告警信息 指标项含义 ：系统对LdapServer服务的告警信息进行检查。如果存在告警信息，则LdapServer服务可能存在异常。 恢复指导： 如果该指标项检查结果不正常，建议根据告警内容，查看对应的告警资料，并进行相应的处理。

本章节主要介绍翼MapReduce的存储资源操作。 简介 HDFS是大数据集群中的分布式文件存储服务，存放大数据集群上层应用的所有用户数据，例如写入HBase表或Hive表的数据。 目录是HDFS存储资源分配的基本单位。HDFS支持传统的层次型文件组织结构。用户或者应用程序可以创建目录，在目录中创建、删除、移动或重命名文件。租户通过指定HDFS文件系统的目录来获取存储资源。 调度机制 系统支持将HDFS目录存储到指定标签的节点上，或存储到指定硬件类型的磁盘上。例如以下业务场景： 实时查询与数据分析共集群时，实时查询只需部署在部分节点上，其数据也应尽可能的只存储在这些节点上。 关键数据根据实际业务需要保存在具有高度可靠性的节点中。 管理员可以根据实际业务需要，通过数据特征灵活配置HDFS数据存储策略，将数据保存在指定的节点上。 对于租户，存储资源是各租户所占用的HDFS资源。可以通过将指定目录的数据存储到租户配置的存储路径中，实现存储资源调度，保证租户间的数据隔离。 用户可以添加/删除租户HDFS存储目录，设置目录的文件数量配额和存储空间配额来管理存储资源。

本章节主要介绍翼MapReduce服务Storm健康检查指标项说明。 工作节点数 指标项名称 ：Supervisor数 指标项含义 ：检查集群中可用的Supervisor数，若集群中可用的Supervisor数小于1，则认为不健康。 恢复指导 ：如果该指标项异常，进入Streaming服务实例页面，单击不可用Supervisor实例的“主机名”，在“概要信息”中查看主机的健康状态，若为“良好”，则参见“ALM12007 进程故障”告警进行处理；若不为“良好”，则参见“ALM12006 节点故障”告警进行处理。 空闲Slot数 指标项名称 ：空闲Slot数 指标项含义 ：检查集群中空闲的Slot数，若集群中空闲slot数目小于1，则认为不健康。 恢复指导 ：如果该指标项异常，进入Storm服务实例页面，查看Supervisor实例的“健康状态”，若均为“良好”，则需要扩容集群Core节点；若不为良好，则参见“ALM12007 进程故障”告警进行处理。 服务健康状态 指标项名称 ：服务状态 指标项含义 ：检查Storm服务状态是否正常。如果状态不正常，则认为不健康。 恢复指导 ：如果该指标项异常，建议参见“ALM26051 Storm服务不可用”告警进行处理。

本章节主要介绍翼MapReduce服务查看配置。 用户可以在MRS Manager上查看服务（含角色）和角色实例的配置。 操作步骤 查看服务的配置 1. 在MRS Manager，单击“服务管理”。 2. 单击服务列表中指定的服务名称。 3. 单击“服务配置”。 4. 在“参数类别”选择“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的根节点分别为服务名称和角色名称。 5. 在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 在服务节点下的参数属于服务配置参数，在角色节点下的参数是角色配置参数。 6. 在“非默认”选项中选择“非默认”，界面上显示参数值为非默认值的参数。 查看角色实例的配置 1. 在MRS Manager，单击“服务管理”。 2. 单击服务列表中指定的服务名称。 3. 单击“实例”页签。 4. 单击角色实例列表中指定的角色实例名称。 5. 单击“实例配置”。 6. 在“参数类别”选择“全部配置”，界面上将显示该角色实例的全部配置参数导航树。 7. 在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 8. 在“非默认”选项中选择“非默认”，界面上显示参数值为非默认值的参数。

本章节主要介绍翼MapReduce的配置告警屏蔽状态操作。 操作场景 如果如下特定场景中不希望看到FusionInsight Manager上报指定的告警，可以手动设置屏蔽。 使用过程中，不想关注某些不重要的告警，屏蔽次要告警。 第三方产品集成FusionInsight产品时，部分告警与产品自身的告警信息重复，屏蔽重复告警。 部署环境特殊时，可能存在特定告警误报，屏蔽误报的告警。 某种告警被屏蔽后，与该告警ID相同的新告警将不再出现在“告警管理”页面中，也不会被统计。已经上报的告警仍然显示。 操作步骤 1. 登录FusionInsight Manager。 2. 选择“运维 > 告警 > 屏蔽设置”。 3. 在“屏蔽设置”区域，选择指定的服务或模块。 4. 在告警列表中选择指定的告警。 详见下图：屏蔽告警 界面显示此告警的信息，包含名称、ID、级别、屏蔽状态和操作： 屏蔽状态包含：“屏蔽”和“显示”。 操作包含：“屏蔽”和“查看帮助”。 说明 在屏蔽列表上方可筛选指定的告警。 5. 设置已选中告警的屏蔽状态： 单击“屏蔽”后在弹出的对话框中单击“确定”，修改告警的屏蔽状态为“屏蔽”。 单击“取消屏蔽”后在弹出的对话框中单击“确定”，修改告警的屏蔽状态为“显示”。

本节介绍了用户指南:使用OceanFS动态存储卷(subPath模式)。 云容器引擎支持使用天翼云海量文件存储持久卷。cstorcsi插件支持使用海量文件服务动态存储卷和静态存储卷，通过将存储卷挂载到容器指定目录，以满足数据持久化需求。 subPath模式是指将海量文件存储中的指定子目录作为持久卷使用。当用户挂载持久卷声明时，持久卷中记录的子目录会被挂载到容器中。 前提条件 已创建容器集群 已在插件市场安装存储插件cstorcsi，插件版本>3.6.0，且插件正常运行。（建议使用>4.0的CSI版本） 使用限制 参见海量文件使用限制 通过控制台使用海量文件动态存储卷 1、创建存储类（StorageClass） 登录“云容器引擎”管理控制台； 在集群列表页点击进入指定集群； 进入主菜单“存储”——“存储类”，单击左上角“创建”； 在创建对话框，配置存储类StorageClass的相关参数。配置项说明如下： 配置项 说明 名称 StorageClass的名称。 存储类型 当前支持云盘、弹性文件、对象存储、并行文件、海量文件，这里选择海量文件。 具体创建页中展示的存储类型由当前资源池支持情况决定。 存储驱动 采用默认CSI驱动。 模式 新建海量文件：每次创建持久卷申明时，均创建一个新的海量文件与之对应。 新建子目录：基于某个已经存在的海量文件，每次创建持久卷申明时，在这个海量文件上创建一个子目录与之对应。 选择新建子目录模式。 计费模式 可以选择按需计费或者包年包月。 回收策略 回收策略，默认为Deleted。 Retained（保留）：用户可以手动回收资源。当 PVC对象被删除时，PV 卷仍然存在，对应的数据卷被视为"已释放（released）"。 Deleted（删除）：对于支持 Delete 回收策略的卷插件，删除动作会将 PV对象从 Kubernetes 中移除，同时也会从外部基础设施中移除所关联的存储资产。 如果对数据安全性要求高，推荐使用Retain方式，以免误删数据。 绑定策略 绑定策略，仅支持Immediate。 Immediate 模式：表示一旦创建了 PVC，也就完成了卷绑定和动态供应。 对于由于拓扑限制而非集群所有节点可达的存储后端，PV会在不知道 Pod 调度要求的情况下绑定或者制备。 支持扩容 默认该开关是打开的，一般也建议打开。 如果关闭该开关，则使用该存储类的pvc，无法被扩容。 挂载选项 挂载参数，用户可根据自己的情况实际定制相关参数。 注意：请务必在挂载时使用noresvport参数，该参数可以在网络故障时自动切换端口，保障网络连接，防止文件系统卡住。挂载参数的说明参见 查看这里 参数 海量文件名称：需要选择一个海量文件，后续会基于该海量文件分配子目录 子目录回收策略： 保留：当持久卷被csi删除时，会保留子目录在文件存储中，不做删除。默认为该选项。 删除：当持久卷被csi删除时，会删除文件存储中对应的子目录，数据无法恢复。 注意 删除子目录属于高危操作，请谨慎选择“删除”子目录回收策略。 参数配置完成后，点击“确定”。创建成功后，可以在存储类列表查看。

使用说明 目前图片处理服务暂不支持客户自助开启，如需使用，请通过提交工单向天翼云客服申请。申请时，请说明具体希望达成如下哪种效果：自适应WEBP、自动瘦身、URL中携带特定参数实现图片处理。 自适应WEBP 自适应WEBP是图片格式转换的一种，开启自适应WEBP功能后，用户请求URL中无需携带相关参数，CDN节点可将Accept请求头值中包括image/webp的图片格式自动转换为WEBP，以获得更好的压缩率及图像质量。 注意 开启自适应WEBP功能后，原始图片缓存会失效，短时间内文件命中率会下降，一段时间后会自行恢复，请避免在业务高峰期开启该功能。 自动瘦身 自动瘦身是图片质量转换的一种，开启自动瘦身后，用户请求URL中无需携带相关参数，CDN节点可按照预先设定的相对质量比例自动完成图片质量转换，以对图片进行压缩，节省用户访问流量。 注意 如需配置自动瘦身功能，请在工单中注明自动瘦身比例。 URL中携带特定参数实现图片处理 开通图片处理功能后，用户可通过在URL中携带特定参数实现灵活的图片处理能力。 图片处理请求URL格式为： 具体字段含义如下： 参数 说明 www.ctyun.cn 在天翼云加速的CDN域名。 a.jpg 需要处理的图片名称。 action 图片处理的固定参数名。 key1:value1 图片处理的具体参数，例如：format:bmp，则表示对该图片进行格式转换动作，将a.jpg转换为bmp格式。 key2:value2 图片处理的具体参数2，支持对同个图片做多个处理动作。 1.存在多个处理参数时，getinfo优先级最高，如有该参数，其他参数忽略无效。 2.存在多个处理参数，且不包括getinfo时，format格式转换参数将作为最后动作来处理，其他处理参数将按参数携带的先后顺序依次进行处理。 示例： 处理效果为：对a.jpg先将其绝对质量转换为80，再对其进行居中宽400高200的裁剪，最后将其转换为bmp图片格式。 目前支持的图片处理操作及对应参数如下： 图片处理功能 参数 说明 格式转换 format 对图片格式进行转换。 质量转换 quality 对图片质量进行转换，支持绝对质量转换和相对质量转换。 图片裁剪 cut 对图片进行指定位置的裁剪。 图片缩放 resize 对图片进行缩放。 图片旋转 rotate 对图片进行旋转。 图片色彩 brightnesscontrast 对图片的亮度和对比度进行调整。 添加水印 textwatermarks、imagewatermarks 添加文字水印或图片水印。 图片置灰 grayscale 对图片进行置灰。 渐进式加载 progressive 将图片转换为渐进式加载格式。 获取图片信息 getinfo 获取图片信息，包括图片的大小、宽、高、图片格式、图片质量和图片方向信息。

本章节主要介绍翼MapReduce组件Spark的设置问题。 参数作用 Spark是运行在executor container进程的 JVM上的，spark.yarn.executor.memoryOverHead 指的是executor jvm的堆外内存。 Executor container 消耗的总内存 spark.yarn.executor.memoryOverhead + spark.executor.memory + spark.memory.offHeap.size+spark.executor.pyspark.memory 其中spark.executor.memory ，spark.memory.offHeap.size 是spark运行时消耗的对象的存储内存。 spark.executor.pyspark.memory 是pyspark运行时，在spark.executor.memory + spark.memory.offHeap.size之外的开销。 spark.yarn.executor.memoryOverhead 指的是executor container进程，运行时数据区非堆部分的开销，即执行开销。 它包括JVM执行时自身所需要的内容，包括线程堆栈、IO、编译缓存等所使用的内存。 失效原因 在spark源码中，该参数出现在如下位置： AlternateConfig的key会被desprecated。 所以，自spark 2.3之后，将使用spark.executor.memoryOverhead，废弃spark.yarn.executor.memoryOverhead。