本文主要介绍如何对数据清洗任务进行管理以及如何新建数据清洗任务。 数据清洗可对原始数据进行异常清洗、文本过滤、去重以及隐私信息去除等操作，解决数据规范性、合规性、一致性及重复等问题，提升数据质量，优化模型训练效果。 数据准备 目前只支持对【指令微调】类型的标注数据集进行清洗，数据清洗前，请先到【我的数据集标注数据集】模块下，创建【大语言SFT指令微调】类型的数据集。++详见：我的数据集标注数据集++ 新建数据清洗任务 从清洗任务列表点击【新建清洗任务】到新建页面，填写任务名称、选择数据集、配置字段和算子后提交即可。 处理前数据：仅支持指令微调类型的标注数据集，可点击【前往导入数据集】，跳转至「我的数据集」模块创建数据集。 处理后数据：系统自动新建数据集。 处理数据集字段：默认全选，可自行勾选要清洗的数据集字段。 算子选择：可选择删除敏感信息、删除无效字符、长度过滤三种清洗算子，可根据数据集内容和实际需求进行开启或关闭。 集群： 选择所属集群。 队列：选择支持的队列。 算力申请： 资源规格默认8C 16G。 master节点：管理节点，用于分配数据清洗任务，默认为1。 worker节点：负责执行具体的数据清洗任务，默认为1，可根据数据集大小调整节点数量，节点数量越多清洗任务速度越快，一般小规模数据集节点为1即可。

本章节主要介绍翼MapReduce服务配置服务参数。 用户可以根据实际业务场景，在MRS Manager中快速查看和修改服务默认的配置，及导出或导入配置。 对系统的影响 配置HBase、HDFS、Hive、Spark、Yarn、Mapreduce服务属性后，需要重新下载并更新客户端配置文件。 集群中只剩下一个DBService角色实例时，不支持修改DBService服务的参数。 操作步骤 修改服务参数 1. 单击“服务管理”。 2. 单击服务列表中指定的服务名称。 3. 单击“服务配置”。 4. 在“参数类别”选择“全部配置”，界面上将显示该服务的全部配置参数导航树，导航树从上到下的根节点分别为服务名称和角色名称。 5. 在导航树选择指定的参数，修改参数值。支持在“搜索”输入参数名直接搜索并显示结果。 修改某个参数的值后需要取消修改，可以单击恢复。 说明 如果需要批量修改服务某个角色多个实例的配置，可以使用主机组实现实例参数的批量配置。在“角色”选择角色名称，然后在“主机”打开“ ”。“主机组名”填写一个名称，“主机”列表中勾选要修改的主机并加入“已选择的主机”，单击“确定”添加主机组。添加的主机组可以在“主机”中选择，且仅在当前页面有效，刷新页面后将无法保存。 6. 单击“保存配置”，勾选“重新启动受影响的服务或实例。”并单击“确定”重启服务。 界面提示“操作成功。”，单击“完成”，服务成功启动。 说明 更新YARN服务队列的配置且不重启服务时，选择“更多 > 刷新队列”更新队列使配置生效。

logcheckpoints (boolean) 导致检查点和重启点被记录在服务器日志中。一些统计信息也被包括在日志消息中，包括写入缓冲区的数据和写它们所花的时间。这个参数只能在postgresql.conf文件中或在服务器命令行上设置。默认值是关闭。 logconnections (boolean) 导致每一次尝试对服务器的连接被记录，客户端认证的成功完成也会被记录。只有超级用户在会话开启时可以改变这个参数，并且在所有会话中不能改变。缺省是off。注意某些客户端程序（例如telesql）在要求密码时会尝试连接两次，因此重复的“收到连接”消息并不一定表示一个错误。 logdisconnections (boolean) 记录会话终止原因。日志输出提供信息类似于logconnections，以及会话持续时间。只有超级用户在会话开启时可以改变这个参数，并且在所有会话中不能改变。缺省是off。 logduration (boolean) 导致每一个完成的语句的持续时间被记录。默认值是off。只有超级用户可以改变这个设置。对于使用扩展查询协议的客户端，解析、绑定和执行步骤的持续时间将被独立记录。注意设置这个选项和设置logmindurationstatement为零之间的区别是，超过logmindurationstatement强制查询的文本被记录，但这个选项不会。因此，如果logduration为on并且logmindurationstatement为正值，所有持续时间都将被记录，但是只有超过阈值的语句才会被记录查询文本。这种行为有助于在高负载安装中收集统计信息。 logerrorverbosity (enum) 控制为每一个被记录的消息要写入到服务器日志的细节量。有效值是TERSE、DEFAULT和VERBOSE，每一个都为显示的消息增加更多域。TERSE排除记录DETAIL、HINT、QUERY和CONTEXT错误信息。VERBOSE输出包括SQLSTATE错误码以及产生错误的源代码文件名、函数名和行号。只有超级用户能够更改这个设置。

版本 资产规格 并发数 标准资费（元/个/月） CPU 内存 系统盘 数据盘 高级版 10资产 10并发上线 860 2核 8GB 40GB 300GB 高级版 20资产 20并发上限 999 2核 8GB 50GB 300GB 高级版 50资产 50并发上限 1888 4核 16GB 50GB 500GB 高级版 100资产 100并发上限 2999 8核 32GB 50GB 800GB 高级版 200资产 200并发上限 4350 8核 32GB 50GB 800GB 高级版 500资产 500并发上限 6230 12核 48GB 50GB 2048GB 高级版 1000资产 1000并发上限 11100 16核 64GB 50GB 2048GB 高级版 2000资产 2000并发上限 14000 16核 128GB 50GB 2048GB 高级版 5000资产 2000并发上限 20000 24核 192GB 50GB 4096GB 高级版 10000资产 2000并发上限 29550 32核 192GB 50GB 4096GB

操作场景 天翼云分布式消息Kafka自集成了一整套监控方案，对Kafka实例的运行状态进行日常监控，可以通过管理控制台查看Kafka实例各项监控指标。 操作前提 已开通天翼云Kafka实例，且实例状态为“运行中” 实例有进行生产消费行为，实例中存在可消费的消息 Kafka 实例是天翼云Ⅱ类资源池实例，目前Ⅱ类资源池包括：华东1、上海36、华北2、长沙42、武汉41、西安7、杭州7、青岛20、西南1、西南2、广州4、郑州5、华南2等 操作步骤 1. 登录管理控制台。 2. 进入Kafka管理控制台。 3. 在实例列表页的操作列，目标实例行点击“管理”。 4. 点击“可观测”后，选择“监控信息”，默认展示实例监控，除此之外，监控信息还包括实例节点监控、Topic监控、消费组监控和Connect监控，Connect监控只有开启Kafka Connect才展示。

实例类型 数据库引擎 数据库版本 单机版 Microsoft SQL Server引擎 2022 web版 2022 标准版 2022 企业版 2019 web版 2019 标准版 2019 企业版 2017 web版 2017 标准版 2017 企业版 2016 标准版 2016 企业版 2014 标准版 2014 企业版 主备版 Microsoft SQL Server引擎 2022 标准版 2022 企业版 2019 标准版 2019 企业版 2017 标准版 2017 企业版 2016 标准版 2016 企业版 2014 标准版 2014 企业版

版本 公网流量处理峰值 架构 标准资费（元/月） 高级版 100Mbps 单机 1300 高级版 100Mbps 主备 2300 高级版 200Mbps 单机 2800 高级版 200Mbps 主备 5550 高级版 2Gbps 单机 5600 高级版 2Gbps 主备 11000

本节介绍服务器安全卫士（原生版）如何开启主机安全高级防护。 服务器安全卫士（原生版）提供基础版、企业版、旗舰版和增值服务（网页防篡改）供用户选择。不同版本差异请参见产品规格。 其中基础版为免费服务，若基础版不满足业务需求，可以购买企业版、旗舰版配额，然后将防护配额切换为企业版、旗舰版防护。 前提条件 已注册天翼云账号并完成实名认证。 方式一：在服务器安全卫士控制台开启防护 步骤一：购买防护配额 用户根据实际业务需求，购买企业版或旗舰版配额。 1. 登录服务器安全卫士（原生版）控制台。 2. 单击页面右上方的“购买服务器安全卫士（原生版）”按钮，进入服务器安全卫士（原生版）产品购买页面。 3. 选择版本、防护服务器数量。 4. （可选）选择是否开启网页防篡改增值服务。 5. 选择购买时长、是否开启自动续订。 6. 在页面左下角确认配置费用后，勾选“我已阅读，理解并同意《天翼云服务器安全卫士（原生版）服务协议》、《天翼云网页防篡改（原生版）服务协议》”，单击“立即购买”。 7. 购买成功后即可在“设置中心 > 配额管理”页面查看已购买的主机防护配额，在“网页防篡改（原生版） > 防护配额”页面查看已购买的网页防篡改防护配额。

集群维度汇总 APM支持以集群的维度汇总外部调用的envId、调用次数、平均响应时间(ms)、错误数、最慢调用(ms)、hostUri、0ms10ms、10ms100ms、100ms500ms、500ms1s、1s10s、10sn。 图 集群维度汇总HttpClient监控 单击调用次数、平均响应时间等蓝色字体数值，会以图表的形式显示对应的数值详情。 状态码维度汇总 APM支持以状态码的维度汇总外部调用的code、数量、以及最近URL。 图 状态码维度汇总HttpClient监控 单击数量数值，可以查看默认20分钟内该状态码的趋势图。 单击最近url，可以查看对应状态码下的调用详情。 异常 可以在异常页签下查看对HttpClient调用的异常信息统计，包括：causeType、exceptionType、数量、异常消息以及错误堆栈。 图 HttpClient监控异常 单击蓝色数值，可以查看所选时间段内该线程的趋势图。 单击“异常消息”列的蓝色文字，可以查看异常消息的详细内容。 单击“错误堆栈”列的“查看详情”可以查看异常的详细信息。 单击“错误堆栈”列的“历史信息”可以查看该类名的历史异常堆栈列表。

此小节介绍如何开启/关闭告警通知。 为AntiDDoS开启告警通知以后，当实例受到DDoS攻击时，您会收到提醒消息（短信或Email）。否则，无论DDoS攻击流量多大，您都只能登录管理控制台自行查看，无法收到报警信息。 告警通知默认关闭，用户可以根据实际情况手动开启告警通知。 前提条件 已获取管理控制台的登录账号与密码，且该账号已购买公网IP。 操作步骤 1. 登录管理控制台。 2. 单击页面顶部的区域选择框，选择区域。 3. 在产品服务列表中，选择“安全 > AntiDDoS流量清洗”，进入AntiDDoS服务管理界面。 4. 选择“告警通知”页签，设置告警通知。 告警通知参数说明： 参数 说明 告警通知开关 开启或关闭告警通知，说明如下： ：开启状态。 ：关闭状态。 消息通知主题 可以选择使用已有的主题，或者单击“查看消息通知主题”创建新的主题。 5. 单击“应用”，完成告警通知设置。 相关操作 关闭告警通知：在告警通知配置页面，将告警通知状态参数置为关闭状态，即可关闭告警通知。 说明 关闭告警通知后，无论DDoS攻击流量多大，您都只能登录管理控制台自行查看，无法收到报警信息。

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object

授权类型 授权描述 Manager Manager访问与登录权限。 HBase HBase管理员权限设置和表、列族授权。 HDFS HDFS中的目录和文件授权。 Hive Hive Admin Privilege Hive管理员权限。 Hive Read Write Privileges Hive数据表管理权限，可设置与管理已创建的表的数据操作权限。 Hue 存储策略管理员权限。 Yarn Cluster Admin Operations Yarn管理员权限。 Scheduler Queue 队列资源管理。

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object

本节主要介绍分布式消息服务Kafka常用的应用场景 分布式消息服务Kafka主要适用于以下几种场景： 日志收集 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。 支持实时在线分析系统和类似于 Hadoop 的离线分析系统。 Kafka本身的性能是非常高效的，同时Kafka的特性决定它非常适合作为"日志收集中心"，这是因为Kafka在采集日志的时候业务是无感知的，其能够兼容自己的上游，能够直接地通过配置加密消息。当日志数据发送到Kafka集群里面，其实对于业务而言是完全无侵入的。同时其在下游又能够直接地对接Hadoop/ODPS等离线仓库存储和Strom/Spark等实现实时在线分析。在这样的情况之下，使用Kafka，只需要用户去关注整个流程里面的业务逻辑，而无需做更多的开发就能够实现统计、分析以及报表。 流计算处理 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦。 通过支持流计算引擎，可对接开源 Storm/Samza/Spark 流计算引擎。 Kafka能够做到流计算处理，比如股市走向分析、气象数据测控、网站用户行为分析等领域，由于在这些领域中数据产生快、实时性强、数据量大，所以很难统一采集并入库存储后再做处理，这便导致传统的数据处理架构不能满足需求。而Kafka Stream以及Storm/Samza/Spark等流计算引擎的出现，可以根据业务需求对数据进行计算分析，最终把结果保存或者分发给需要的组件。

本章节主要介绍分布式消息服务RabbitMQ的心跳检测特性。 RabbitMQ实例提供了心跳功能，以确保应用程序层及时发现中断的连接和完全无响应的对端。心跳还可以防止某些网络设备在一段时间内由于没有活动而中断TCP连接。 心跳超时时间 心跳超时时间定义了对等TCP连接在多长时间后被服务端和客户端视为关闭。 在RabbitMQ服务端和客户端分别设置心跳超时时间，服务端和客户端会对配置的心跳超时时间进行协商，客户端必须配置该值来发送心跳。RabbitMQ官方团队维护的3个客户端（Java、.NET、Erlang语言）的心跳超时时间协商逻辑如下： 服务端和客户端设置的心跳超时时间都不为0时，两者间较小的值生效。 服务端和客户端任意一端设置的心跳超时时间为0，另一端不为0时，非0的值生效。 服务端和客户端的心跳超时时间都设置为0时，表示禁用心跳。 更多关于心跳检测的说明，请参考Detecting Dead TCP Connections with Heartbeats and TCP Keepalives。 心跳帧 心跳帧发送时间间隔为心跳超时时间/2，该值有时也被称为心跳间隔。客户端在两次错过心跳后，会被认为是不可达的。不同的客户端会以不同的方式显示这一点，但TCP连接将被关闭。当客户端检测到服务端由于心跳而无法访问时，需要重新连接。 任何流量（如协议操作、消息发布、消息确认、心跳帧等）都会被认为是有效的心跳。如果连接上有其他流量，客户端可以选择发送心跳帧，也可以选择不发送。如果连接上没有其他流量，客户端必须发送心跳帧。

天翼云分布式消息服务Kafka 用户使用指南.pdf

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

名称 类型 说明 message String 消息提示 statusCode Integer 状态码 returnObj Object 返回结果

参数 参数说明 发送通知 配置是否发送邮件、短信、HTTP和HTTPS通知用户。 通知方式 根据需要可选择通知组或主题订阅两种方式。 通知组 需要发送告警通知的通知组。 通知对象 需要发送告警通知的对象，可选择“云帐号联系人”或主题。 云帐号联系人：注册帐号时的手机和邮箱。 主题：创建主题后，您需要单击主题列表操作栏的添加订阅按钮，添加通知方式。 生效时间 该告警规则仅在生效时间内发送通知消息。如生效时间为08:0020:00，则该告警规则仅在08:0020:00发送通知消息。 触发条件 可以选择“出现告警”、“恢复正常”两种状态，作为触发告警通知的条件。

参数 说明 触发事件类型 选择触发作业运行的事件类型。 “KAFKA” “KAFKA”触发事件类型的参数 连接名称 选择数据连接，需先在“管理中心”创建kafka数据连接。 Topic 选择需要发往kafka的消息Topic。 事件处理并发数 选择作业并行处理的数量，最大并发数为128。 事件检测间隔 配置时间间隔，检测通道下是否有新的消息。时间间隔单位可以配置为秒或分钟。 读取策略 选择数据的读取位置： 从上次位置读取：首次启动时，从最新的位置读取数据。后续启动时，则从前一次记录的位置读取数据。 从最新位置读取：每次启动都会从最新的位置读取数据。 失败策略 选择调度失败后的策略： 挂起 忽略失败，读取下一个

本章节主要介绍应用容灾多活产品类问题。 应用容灾多活解决什么问题？ 应用容灾多活是为应用提供高可用解决方案的产品，提供应用流量调度、数据同步、演练容灾一站式管理，助力企业云上业务实现多活高可用建设。 应用容灾多活支持哪些容灾架构？ 应用容灾多活目前支持应用双活和数据双活两种基本架构，客户可以根据自身业务的发展状况、业务规模、物理架构、容灾诉求和投入成本等，灵活选择合适的容灾架构。 应用容灾多活与其他云产品的关系？ 应用容灾多活是构建在已有应用之上的管控，协同其他云产品，但不负责其他云产品的生命周期。 应用容灾多活与云应用平台冲突吗？ 应用容灾多活与现有云产品均不存在功能冲突，通过深度集成云上业务使用的核心产品，对应用进行分层抽象，帮助业务屏蔽组件管理差异，自动编排有序的容灾流程。 应用容灾多活要求用户使用全套天翼云产品吗？ 不一定。容灾多活产品构建的容灾架构，对应用进行分层管理，通过控制面和数据面的管控编排与容灾逻辑织入，实现应用多活的容灾调度。 应用容灾多活提供控制面能力，根据组件化的程度，用户可以选择以下数据面策略： 流量入口使用多活配套网关，应用层相关组件自建。 流量入口使用多活配套网关，数据层使用多活支持的天翼云数据库产品与同步服务，应用层相关组件自建。 流量入口、微服务、数据库、消息等使用多活支持的天翼云产品与服务，其他组件可参考接入示例自建，或提交工单确认是否支持。

类别 指标名称 主机 cpu使用率 主机 系统15分钟负载 主机 内存空闲率 主机 磁盘存储空闲率 主机 磁盘inode空闲率 主机 磁盘IO使用率 主机 网卡每秒接收丢包数 主机 网卡每秒接收错误包 主机 网卡每秒发送丢包数 主机 网卡每秒发送错误包数 主机 节点指标采集器可用状态 主机 主机运行时间 主机 磁盘挂载状态 主机 磁盘是否只读异常 主机 网卡每秒接收的比特数 主机 网卡每秒发送的比特数 HDFS HDFS进程状态 HDFS HDFS NameNode主备状态 HDFS HDFS rpc端口处理平均耗时 HDFS HDFS rpc端口请求队列长度 HDFS HDFS存储使用率 HDFS PendingDeletionBlocks HDFS MissingBlocks HDFS HDFS每秒创建文件数 HDFS hdfs锁队列等待线程数 HDFS HDFS距离上次checkpoint时间 HDFS HDFS NameNode内存使用率 HDFS HDFS DataNode节点存活比例 HDFS 存储使用总量 HDFS 数据块总量 HDFS HDFS存储空间使用百分比 HDFS HDFS存在损坏的磁盘 HDFS HDFS NameNode处于SafeMode HDFS HDFS NameNode Jvm暂停超过阈值的次数 HDFS HDFS DataNode Jvm暂停超过阈值的次数 YARN YARN进程状态 YARN YARN ResourceManager主从状态 YARN pending作业数 YARN pending container数 YARN 心跳处理时延 YARN 每秒心跳次数 YARN YARN NodeManager存活节点比例 YARN YARN ResourceManager内存使用率 YARN YARN ResourceManager主备状态 YARN YARN ResourceManager Container 分配的平均时间 Hive Hive进程状态 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive hiveserver2 端口监听状态 Hive hiveserver2堆内存使用率 Hive hiveserver2 10000端口连接数 Hive hiveserver2 10000端口close wait数 Hive Hive metastore 端口监听状态 Hive hiveserver2堆内存使用率 ZooKeeper ZooKeeper进程状态 ZooKeeper ZooKeeper watch数量 ZooKeeper ZooKeeper活跃连接数 ZooKeeper ZooKeeper数据节点存储总量 ZooKeeper ZooKeeper leader重新选主 ZooKeeper ZooKeeper的平均处理时间 Kafka Kafka进程状态 Kafka Kafka离线目录数量 Kafka Kafka离线副本数 Kafka Kafka低于 min.insync.replicas 的分区数量 Kafka Kafka未保持同步的分区数量 Kafka Kafka活跃controller数量 Kafka Kafka ZooKeeper请求延迟 Kafka Kafka broker访问zookeeper延迟时间 Kafka Kafka Broker请求队列积压的请求数量 Kafka Kafka 过去1分钟内触发的controller选举次数 HBase HBase 进程状态 HBase HBase master主从状态 HBase HBase regionserver rit数 HBase HBase master堆内存使用率 HBase HBase regionserver节点存活比例 HBase HBase regionserver堆内存使用率 HBase get操作平均耗时 HBase 99%的get操作耗时 HBase 请求平均处理耗时 HBase 每秒读请求数 HBase 每秒写请求数 HBase HBase正在使用的handler数量 HBase HBase等待执行的rpc队列长度 Doris Doris进程状态 Doris 每分钟GC时间 Doris 平均每分钟查询错误数 Doris be存储资源使用率 Doris Doris 前端主机cpu平均使用率 Doris Doris 前端主机内存平均使用率 Doris Doris 后端主机cpu平均使用率 Doris Doris 后端主机内存平均使用率 Doris Doris 前端每秒查询数量 Doris Doris 前端每秒请求数量 Doris Doris INSERT 加载中作业峰值 Doris Doris load任务失败率 Doris Doris集群最大compaction score Doris Doris集群FE的Minor GC持续时长 Doris Doris集群FE的Old GC持续时长 Doris Doris集群BE CPU使用率 Doris Doris DB当前事务数 Elasticsearch ES进程状态 Elasticsearch ES集群状态 Elasticsearch ES 未分配shard数 Elasticsearch pending任务数量 Elasticsearch 文件系统剩余容量百分比 Elasticsearch JVM堆使用率 Elasticsearch rejected线程数 Trino Trino进程状态 Trino 健康节点比例 Trino JVM堆使用率 OpenLDAP openldap进程状态 OpenLDAP 389端口连接数 Flink Flink进程状态 Flume Flume进程状态 Spark Spark进程状态 Kerberos Kerberos进程状态 Ranger Ranger进程状态 Ranger Ranger JVM堆使用率 Kyuubi Kyuubi进程状态 Kyuubi Kyuubi JVM Deadlock线程数 Kyuubi Kyuubi 服务堆内存使用率 Kyuubi Kyuubi 服务存活率 Knox Knox进程状态 Kibana Kibana进程状态 Logstash Logstash进程状态 JeekeFS JeekeFS进程状态 KafkaUI KafkaUI进程状态 Amoro Amoro 进程状态 Tezui TezUI 进程状态 Tezui TezUI 端口监听状态 Hue Hue 进程状态 Hue Hue 端口监听状态 Hue Hue Python第0代不可回收对象的5分钟增量 Hue Hue Python第1代不可回收对象的5分钟增量 Hue Hue Python第2代不可回收对象的5分钟增量 Hue Hue Django 500错误响应的5分钟增量 DolphinScheduler DolphinScheduler 进程状态 DolphinScheduler DolphinScheduler 系统当前的CPU使用率 DolphinScheduler DolphinScheduler 系统的平均负荷（1分钟） DolphinScheduler DolphinScheduler 各JVM进程CPU使用率 DolphinScheduler DolphinScheduler 各服务GC后长期存活堆内存的使用率 DolphinScheduler DolphinScheduler 各服务垃圾回收时间占比 DolphinScheduler DSApiServer 未捕获异常个数 DolphinScheduler DSAlertServer 等待发送的告警数量 DolphinScheduler DSApiServer 响应状态码的接口个数 DolphinScheduler DSMasterServer 1小时过载次数 DolphinScheduler DolphinScheduler 正在运行的工作流实例数量 DolphinScheduler DSWorkerServer 1小时过载次数 DolphinScheduler DSWorkerServer 上等待提交的任务总数 DolphinScheduler DSWorkerServer 上正在执行的任务总数 DolphinScheduler DSWorkerServer 1小时提交队列全满次数 DolphinScheduler DSAlertServer 5分钟未捕获异常个数

本文主要介绍Volcano调度器。 插件简介 Volcano调度器是一个基于Kubernetes的批处理平台，提供了机器学习、深度学习、生物信息学、基因组学及其他大数据应用所需要而Kubernetes当前缺失的一系列特性。 Volcano提供了高性能任务调度引擎、高性能异构芯片管理、高性能任务运行管理等通用计算能力，通过接入AI、大数据、基因、渲染等诸多行业计算框架服务终端用户。(目前Volcano项目已经在Github开源) Volcano针对计算型应用提供了作业调度、作业管理、队列管理等多项功能，主要特性包括： 丰富的计算框架支持：通过CRD提供了批量计算任务的通用API，通过提供丰富的插件及作业生命周期高级管理，支持TensorFlow，MPI，Spark等计算框架容器化运行在Kubernetes上。 高级调度：面向批量计算、高性能计算场景提供丰富的高级调度能力，包括成组调度，优先级抢占、装箱、资源预留、任务拓扑关系等。 队列管理：支持分队列调度，提供队列优先级、多级队列等复杂任务调度能力。 项目开源地址： 安装插件 步骤 1 登录CCE控制台，单击集群名称进入集群，单击左侧导航栏的“插件管理”，在右侧找到 Volcano ，单击“安装”。 步骤 2 该插件可配置“单实例”、“高可用”或自定义规格。 选择自定义时，volcanocontroller和volcanoscheduler的建议值如下： 小于100个节点，可使用默认配置，即CPU的申请值为500m，限制值为2000m；内存的申请值为500Mi，限制值为2000Mi。 高于100个节点，每增加100个节点（10000个Pod），建议CPU的申请值增加500m，内存的申请值增加1000Mi；CPU的限制值建议比申请值多1500m，内存的限制值建议比申请值多1000Mi。 volcanocontroller和volcanoscheduler的建议值 节点/Pods规模 CPU Request(m) CPU Limit(m) Memory Request(Mi) Memory Limit(Mi) 50/5k 500 2000 500 2000 100/1w 1000 2500 1500 2500 200/2w 1500 3000 2500 3500 300/3w 2000 3500 3500 4500 400/4w 2500 4000 4500 5500 步骤 3 配置volcano默认调度器配置参数。 cacert: '' defaultschedulerconf: actions: 'allocate, backfill' tiers: plugins: name: 'priority' name: 'gang' name: 'conformance' plugins: name: 'drf' name: 'predicates' name: 'nodeorder' plugins: name: 'ccegputopologypredicate' name: 'ccegputopologypriority' name: 'ccegpu' plugins: name: 'nodelocalvolume' name: 'nodeemptydirvolume' name: 'nodeCSIscheduling' name: 'networkresource' servercert: '' serverkey: '' 插件 功能 参数说明 用法演示 binpack 将pod调度到资源使用较高的节点以减少资源碎片 binpack.weight：binpack插件本身在所有插件打分中的权重 binpack.cpu：cpu资源在资源比重的比例，默认是1 binpack.memory：memory资源在所有资源中的比例，默认是1l binpack.resources： plugins: name: binpack arguments: binpack.weight: 10 binpack.cpu: 1 binpack.memory: 1 binpack.resources: nvidia.com/gpu, example.com/foo binpack.resources.nvidia.com/gpu: 2 binpack.resources.example.com/foo: 3 conformance 跳过关键Pod，比如在kubesystem命名空间的Pod，防止这些Pod被驱逐 gang 将一组pod看做一个整体去分配资源 priority 使用用户自定义负载的优先级进行调度 overcommit 将集群的资源放到一定倍数后调度，提高负载入队效率。负载都是deployment的时候，建议去掉此插件或者设置扩大因子为2.0。 overcommitfactor: 扩大因子，默认是1.2 plugins: name: overcommit arguments: overcommitfactor: 2.0 drf 根据作业使用的主导资源份额进行调度，用的越少的优先 predicates 预选节点的常用算法，包括节点亲和，pod亲和，污点容忍，node ports重复，volume limits，volume zone匹配等一系列基础算法 nodeorder 优选节点的常用算法 nodeaffinity.weight：节点亲和性优先调度，默认值是1 podaffinity.weight：pod亲和性优先调度，默认值是1 leastrequested.weight：资源分配最少的的节点优先，默认值是1 balancedresource.weight：node上面的不同资源分配平衡的优先，默认值是1 mostrequested.weight：资源分配最多的的节点优先，默认值是0 tainttoleration.weight：污点容忍高的优先调度，默认值是1 imagelocality.weight：node上面有pod需要镜像的优先调度，默认值是1 selectorspread.weight: 把pod均匀调度到不同的节点上，默认值是0 volumebinding.weight: local pv延迟绑定调度，默认值是1 podtopologyspread.weight: pod拓扑调度，默认值是2 plugins: name: nodeorder arguments: leastrequested.weight: 1 mostrequested.weight: 0 nodeaffinity.weight: 1 podaffinity.weight: 1 balancedresource.weight: 1 tainttoleration.weight: 1 imagelocality.weight: 1 volumebinding.weight: 1 podtopologyspread.weight: 2 ccegputopologypredicate GPU拓扑调度预选算法 ccegputopologypriority GPU拓扑调度优选算法 ccegpu 结合CCE的GPU插件支持GPU资源分配，支持小数GPU配置 numaaware numa拓扑调度 weight: 插件的权重 networkresource 支持预选过滤ENI需求节点，参数由CCE传递，不需要手动配置 NetworkType: 网络类型（eni或者vpcrouter类型） nodelocalvolume 支持预选过滤不符合local volume需求节点 nodeemptydirvolume 支持预选过滤不符合emptydir需求节点 nodeCSIscheduling 支持预选过滤everest组件异常节点 步骤 4 单击“安装”。