"API Not Found"如何解决？ 请按以下顺序排查可能原因： 1.API的方法不正确。比如注册的API为POST方法，您使用了GET方法调用。 2.API没有发布。API创建后，需要发布到具体的环境后才能使用。 3.域名解析不正确。如果API方法正确，且已发布到环境，有可能是没有准确解析到您的API所在分组。请检查API所在的分组域名，例如您有多个API分组，每个分组有自己的独立域名，API调用时，使用了其他分组的独立域名。 No backend available，怎么解决？ 检查后端服务是否可以访问，如果不能访问，请修改后端服务。 检查后端服务对应的ECS安全组配置，查看是否已开放您需要的端口。 检查VPC网络中的ACL配置，查看是否有相关ACL策略限制了API网关实例与后端服务所在子网的通信。 若使用VPC通道，检查VPC通道业务端口、健康检查端口、后端服务器添加是否均正常。 后端服务调用失败或超时原因分析 以下原因可能导致后端服务调用失败或者超时，请逐一排查。 原因 解决方案 后端服务地址错误。 在编辑API中修改后端服务地址。如果是域名，请确认域名能正确解析到后端服务IP地址。 后端超时时间设置不合理。当后端服务没有在设置的后端超时时间内返回时，API网关提示后端服务调用失败。 在编辑API中增加后端超时时间。 如果“后端服务地址”在ECS（Elastic Cloud Server），ECS的安全组的出/入方向规则可能拦截了请求。 检查后端服务所在ECS的安全组，确保出/入方向端口规则和协议都设置正确。 请求协议配置错误，如后端服务为HTTP，在API网关配置为HTTPS。 注册的API与后端服务配置相同的协议。

Spark作业的Client模式和Cluster模式有什么区别？ 理解YARNClient和YARNCluster深层次的区别之前先清楚一个概念：Application Master。 在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARNCluster和YARNClient模式的区别其实就是ApplicationMaster进程的区别。 YARNCluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行，因而YARNCluster模式不适合运行交互类型的作业。 YARNClient模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度工作，也就是说Client不能离开。 如何查看MRS作业的日志？ MRS Console页面作业管理，每一条作业支持查看日志，包含launcherJob日志和realJob日志。 launcherJob作业的日志，一般会在stderr和stdout中打印错误日志，如下图所示： realJob的日志，可以通过MRS Manager中Yarn服务提供的ResourceManager Web UI查看。 1.登录集群Master节点，可获取上述作业的日志文件 ，具体hdfs路径为“/tmp/logs/ {submituser} /logs/ {applicationid} ”。 2.提交作业后，在Yarn的WEB UI未找到对应作业的applicationid，说明该作业没有提交成功，可登录集群主Master节点，查看提交作业进程日志“/var/log/executor/logs/exe.log”。

本文介绍虚拟机启用和取消IPv6地址操作指南。 虚拟机VPC网卡配置IPv6地址 前提条件 虚拟机VPC网卡所在的子网已开启IPv6网段，如需开启可参考开启IPv6网段。 操作说明 1. 登录ECX控制台。 2. 单击左侧导航栏的【边缘虚拟机>实例】，选择对应的地域，即可查看已创建的虚拟机。 3. 单击虚拟机名称进入虚拟机的详情页面，单击【网卡】选择对应的VPC网卡，在对应的VPC网卡关联VPC IPv6中的“VPC IPv6地址”项中单击【启动IPv6】，在弹出框中单击【确认】即可为该虚拟机开启IPv6地址，已分配的IPv6地址默认能内网通信。 4. 可在对应VPC网卡的“VPC IPv6地址”项中查看已分配的IPv6地址。 5. 登录虚拟机，使用cloudinit做初始化，执行cloudinit clean命令，使用dhclient获取配置地址，执行dhclient 6 eth0命令，可以通过ip addr命令查看已分配的IPv6地址配置在eth0。 6. 如需访问公网，需将IPv6地址加入共享带宽或者开通独享带宽，具体可参考VPC IPv6地址开启公网访问能力。 虚拟机VPC网卡取消IPv6地址 在【边缘网络>公网访问>IPv6网关】IPv6网关列表可以查看已分配给虚拟机VPC网卡的IPv6地址情况，当已使用IPv6数量不为0时表示IPv6地址已被分配，可单击操作栏下【IPv6地址管理】查看IPv6地址关联的具体实例信息，负载均衡分配的IPv6地址不在此展示。 前提条件 VPC网卡分配的IPv6地址未加入共享带宽或者关联独享带宽，如果已关联带宽实例需要先取消关联带宽实例后再取消IPv6地址，具体操作可参考[VPC IPv6地址取消公网访问能力](

MySQL实例是否支持主备实例变更为单机实例 关系数据库MySQL版不支持主备实例变更为单机实例。支持单机实例通过系列升级到主备实例。 如果您需要将主备实例变更为单机实例可使用“数据库传输服务DTS”将主备实例迁移到单机实例。数据库传输服务DTS也支持将单机实例迁移到主备实例。 为何使用了MySQL实例后网站登录较慢 推荐您做如下两个处理： 通过关系数据库MySQL版实例的管理控制台查看数据库实例的性能情况。 从应用程序方面排查，查看当前数据库连接状态，比较本地数据库和关系数据库MySQL版实例的差异。 主实例和只读实例之间可以设置数据同步方式吗 主实例和只读实例之间不支持设置数据同步方式。 关系数据库MySQL版控制台展示的修改数据同步方式是指主实例和备实例之间的复制方式，不包括只读实例。针对可以修改数据复制方式支持半同步和异步两种。默认主实例和只读实例是异步的复制方式。 主备同步存在多长时间的延迟 如果主机在某段时间内业务压力过大，即每秒执行的事务量过多，备机可能会出现延迟。正常情况下，一般都是秒级延迟。 主备之间延迟的原因会有很多，一般会受到以下几种原因影响： 网络通信状况。 主机的事务压力，即主机每秒执行的事务量。 主机执行的事务大小。 备机和只读实例的机器负载状况。 多台弹性云主机是否可以使用同一个MySQL实例 关系数据库MySQL版实例并没有设置相关限制规则，在数据库资源的压力承载范围内，多台弹性云主机是可以使用同一个关系数据库MySQL版实例来支撑业务的。 您可根据实际情况决定是否使用一个实例支撑多台弹性云主机。

本节主要介绍OOS API请求结构。 接入地址 对象存储网络接入地址为：ooscn.ctyunapi.cn。对象存储网络2接入地址为：ooscn2.ctyunapi.cn。香港精品网接入地址为：ooscnhkhqnet.ctyunapi.cn。香港普通网接入地址为：ooscnhknqnet.ctyunapi.cn。 注意 对于对象存储网络、对象存储网络2中的OOS API，如果您的数据存储在某个资源池，建议您直接使用该资源池的Endpoint，详见 通信协议 为了保证通信的安全性，同时支持HTTP和HTTPS。 请求方法 OOS API支持GET、POST、PUT、HEAD、DELETE和OPTION请求方法发送请求。 请求参数 每个请求都需要指定如下信息： 每个操作接口都需要包含的公共请求参数。 操作接口所特有的请求参数。 本节主要描述公共请求参数和请求结果。 说明 在后续提到具体API时，举例中都会有 公共请求头、 公共响应头 ，但是不对其进行描述和解释。 公共请求头 以下是OOS API的公共请求头。 名称 描述 是否必须 ::: BucketName Bucket名称。 除GET Service (List Bucket)、GET Regions外，其他Bucket、Object操作都需要该参数。 是 Authorization 用于身份验证的请求头。Authorization的构造方式请参考安全策略部分，请先确定使用V2还是V4版本的签名方式，再按照对应的计算方式生成Authorization。 是 ContentLength 请求体的长度。 否 ContentMD5 按照RFC 1864，使用base64编码格式生成信息的128位MD5值。此请求头可以用作数据完整性检查，以验证数据是否与客户端发送的数据相同。 否 xamzcontentsha256 当使用V4签名对请求进行身份验证时，此请求头提供请求有效负载的哈希。 V4签名必填。 ContentType 描述请求内容的标准MIME类型。 否 Date 请求的日期和时间，GMT时间。 V2签名可以填写xAmzDate或Date。 xamzdate 请求的日期和时间。日期和时间格式必须遵循ISO 8601标准，并且必须使用“yyyyMMddT HHmmssZ”格式进行格式化。例如，如果日期和时间是“08/01/2018 15：32：41.982700”，则必须首先将其转换为UTC（协调世界时），然后提交为“20180801T083241Z”。 V4签名必填。 Host 请求的域名。 对象存储网络的请求域名为：ooscn.ctyunapi.cn。 对象存储网络2的请求域名为：ooscn2.ctyunapi.cn。 香港精品网的请求域名为：ooscnhkhqnet.ctyunapi.cn。 香港普通网的请求域名为：ooscnhknqnet.ctyunapi.cn。 是 Connection 客户端与OOS服务器之间的连接状态。 取值： keepalive：长连接，请求结束后继续保持连接。 close：短连接，请求结束后关闭连接。 默认值为：keepalive。 否

阶段 阶段描述 具体内容 责任方 计划实施时间 第一阶段：咨询服务启动 等保测评技术指导、讲解 介绍整体服务工作 天翼云、客户 1周 第一阶段：咨询服务启动 等保测评技术指导、讲解 测评内容介绍 天翼云、客户 1周 第一阶段：咨询服务启动 等保测评技术指导、讲解 确认保密管理内容 天翼云、客户 1周 第一阶段：咨询服务启动 等保测评技术指导、讲解 介绍风险管理措施 天翼云、客户 1周 第一阶段：咨询服务启动 等保测评技术指导、讲解 讲解等保要求细则 天翼云、客户 1周 第一阶段：咨询服务启动 等保测评技术指导、讲解 输出《等保测评技术指导》 天翼云 1周 第二阶段：安全自测评 环境检查系统检查安全检查差距分析 依据等级保护要求，对客户系统进行安全自评估，进行差距分析 天翼云、客户 2周 第二阶段：安全自测评 环境检查系统检查安全检查差距分析 安全物理环境 天翼云、客户 2周 第二阶段：安全自测评 环境检查系统检查安全检查差距分析 安全通信网络 天翼云、客户 2周 第二阶段：安全自测评 环境检查系统检查安全检查差距分析 安全区域边界 天翼云、客户 2周 第二阶段：安全自测评 环境检查系统检查安全检查差距分析 安全计算环境 天翼云、客户 2周 第二阶段：安全自测评 环境检查系统检查安全检查差距分析 差距分析 天翼云、客户 2周 第二阶段：安全自测评 环境检查系统检查安全检查差距分析 输出《差距分析评估》 天翼云 2周 第三阶段：整改建议 （仅标准版提供） 根据差距分析，提供整改建议 差距分析整理，提供差距建议，输出《差距整改方案》 天翼云 2周

介绍分布式消息服务RabbitMQ连接管理内容。 背景信息 RabbitMQ 连接管理的背景信息如下： 生产者连接管理：在 RabbitMQ 中，生产者负责将消息发送到队列中。在高并发的场景下，可能会有大量的生产者与 RabbitMQ 建立连接。因此，连接管理变得至关重要。在这种场景下，需要确保连接的稳定性和可用性，以确保生产者能够持续地发送消息，并避免连接的过度消耗。 消费者连接管理：消费者负责从队列中接收消息并进行处理。在高负载的情况下，可能会有大量的消费者连接到 RabbitMQ。在这种场景下，需要进行连接的管理和优化，以确保消费者能够高效地处理消息，并避免过多的连接占用资源。 连接池管理：为了更好地管理连接，可以使用连接池来对 RabbitMQ 连接进行复用和管理。连接池可以帮助控制连接的数量，避免频繁地创建和销毁连接，提高系统的性能和资源利用率。通过连接池管理，可以确保连接的可用性，并有效地管理连接的生命周期。 连接超时和重连：在网络不稳定或 RabbitMQ 实例发生故障时，连接可能会中断或超时。在这种情况下，需要实现连接的超时和重连机制，以确保连接能够及时地恢复，并保持与 RabbitMQ 的正常通信。通过合理设置连接超时和重连策略，可以提高系统的可靠性和稳定性。 总之，RabbitMQ 连接管理的场景涉及生产者连接管理、消费者连接管理、连接池管理以及连接超时和重连。通过合理的连接管理和优化，可以提高系统的性能、可用性和稳定性，确保消息的可靠传递和处理。

危害网络安全类内容 包括但不限于以下违规内容的信息： 利用系统漏洞、捆绑软件、网页挂马、电子邮件、即时聊天工具等途径传播病毒、木马、钓鱼信息等有害程序，可能对用户的正常运行造成损害或中断； 利用网络技术手段或者分享网络技术手段对计算机系统、网络或设备进行破坏、干扰、窃取等违法犯罪行为，包含黑客攻击技术、黑客工具、违规跨境加速或传输服务/软件/教程、违规提供 DNS 解析服务、开展虚拟币“挖矿等违法违规活动。 相关法律法规参考：《中华人民共和国网络安全法》、《计算机信息网络国际互联网安全保护管理办法》、《中国公用计算机互联网国际联网管理办法》、《国际通信出入口局管理办法》、《中华人民共和国刑法》、《关于办理扰乱无线电通讯管理秩序等刑事案件适用法律若干问题的解释》、《中华人民共和国治安管理处罚法》、《关于依法办理非法生产销售使用“伪基站”设备案件的意见》。 违法活动及违禁化学品类 包括但不限于以下违规内容的信息： 发布网络雇凶、网络雇佣追债等违法事件行为。 发布拐卖妇女、儿童、买卖人体器官、提供赴港代孕中介服务、亲子鉴定服务、胎儿鉴定服务等。 发布国家禁止出售的化学品的交易信息，包括但不限于毒品、剧毒化学品、禁止出售的危险化学品、精神类等）。 发布或者存储国家禁止出售的违禁商品/器具类及其相关教程、书籍的交易信息，包括但不限于易燃易爆品、军警服装、管制刀具等）。 相关法律法规参考：《中华人民共和国刑法》、《易制毒化学品管理条例》、《中华人民共和国药品管理法》、《中华人民共和国药品管理法实施条例》、《中华人民共和国禁毒法》、《反兴奋剂条例》、《药品注册管理办法》、《放射性药品管理办法》、《中药品种保护条例》、《麻醉药品和精神药品管理条例》、《互联网药品信息服务管理办法》、《危险品管理条例》等相关法律法规的规定。

本章节主要介绍 ALM12048 网络写包错误率超过阈值。 告警解释 系统每30秒周期性检测网络写包错误率，并把实际错误率和阈值（系统默认阈值0.5%）进行比较，当检测到网络写包错误率连续多次（默认值为5）超过阈值时产生该告警。 用户可通过“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写包错误率”修改阈值。 平滑次数为1，网络写包错误率小于或等于阈值时，告警恢复；平滑次数大于1，网络写包错误率小于或等于阈值的90%时，告警恢复。 告警属性 告警ID 告警级别 是否自动清除 12048 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 网口名 产生告警的网口名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 通信闪断，业务超时。 可能原因 告警阈值配置不合理。 网络环境质量差。 处理步骤 检查阈值设置是否合理 1.在FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写包错误率”，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行步骤4。 否，执行步骤2。 2.根据实际服务的使用情况在“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络写信息 > 写包错误率”，单击“操作”列的“修改”更改告警阈值。 如下图所示： 3.等待5分钟，检查该告警是否恢复。 是，处理完毕。 否，执行步骤4。

字段 场景 是否必填 字段说明 连接器集群名称 远程办公/办公组网/全球加速 是 给您的连接器集群命名，方便您区分对应的网络数据中心。 描述 远程办公/办公组网/全球加速 否 给您的连接器集群进行描述，方便您对连接器集群进行区分和记忆。 使用场景 远程办公/办公组网/全球加速 是 支持单选或者多选远程办公、办公组网、全球加速。 部署模式 办公组网 是 使用场景仅办公组网时，出现部署模式配置。支持配置为： 加速模式：在全球或区域范围内设置多个 POP 点，企业分支机构先连接到就近的 POP 点，POP 点之间通过专线骨干网互联，然后再通过 POP 点连接到企业总部、数据中心或云资源等。适用于分支众多、有跨省或跨国业务的中大型企业，尤其是对网络性能、安全和管理效率要求较高，需要频繁访问云资源或与多个分支机构进行数据交互的企业。 连接模式：远程办公地点或分支机构直接通过AOne加密方式通过互联网直接连接到企业总部网络，没有中间的 POP 点作为中转，是一种点到点的直接连接方式。适合规模较小、分支机构或远程办公点数量较少，网络需求相对简单，主要是实现与企业总部的直接通信和资源共享，对网络成本较为敏感的企业或组织。 混合模式：连接器集群同时与加速模式和连接模式的其他连接器配为组网。 注意：若您希望该连接器集群同时作为办公组网、办公组网或全球加速共同使用时，部署模式仅支持加速模式。 接入区域 远程办公/办公组网/全球加速 是 请选择连接器集群的部署区域，以便获取最优的接入点。 带宽上限 远程办公/办公组网/全球加速 是 带宽上限将限制集群下所有实例上行+下行带宽之和，如超过则进行限速。 若触发限速，平台将根据实例的实际上行/下行带宽值，按比例进行动态分配，对实例进行限速。 例如：设置带宽上限为15Mbps，此时实例A上行带宽为6Mbps，下行带宽为4Mbps；实例B上行带宽为2Mbps，下行带宽为3Mbps。则平台将对实例A下发上行限速6Mbps，下行限速4Mbps；对实例B下发上行限速2Mbps，下行限速3Mbps。 注意：使用场景为远程办公（中国内地）、办公组网（连接模式）时，不限制带宽上限值。其余使用场景，将限制集群的带宽上限之和不能超过区域的订购带宽值。 连接UDP端口 办公组网 是 部署模式为连接模式时，支持配置连接UDP端口，默认50000。 注意：直连部署模式下进行组网的两个连接器集群，至少有一端可通过公网直接访问。如果有防火墙配置，请设置放行连接器IP及连接UDP端口。 自定义DNS服务器 远程办公/办公组网/全球加速 否 支持设置连接器解析域名的DNS服务器地址，至多填写3个，若填写多个会进行轮询解析，请确保连接器所在服务器和DNS服务器网络连通，若未填写，则使用部署连接器所在的服务器上的DNS服务器地址。 升级方案 远程办公/办公组网/全球加速 是 可选自动升级或手动升级： 自动升级将在工作日按照设定的升级时间段进行自动升级（同集群内多台机器将进行错开升级，保障服务）； 手动升级则由您人工触发升级。 升级过程中若存在异常将自动进行回退，整体升级时间在1分钟左右，若连接器集群仅单连接器，则升级可能存在短暂业务影响，请及时关注。创建连接器集群时配置的升级策略将作为连接器安装实例的初始配置，在您安装完连接器后，您可对安装的连接器实例单独配置升级策略。 升级时间 远程办公/办公组网/全球加速 是 若选择自动升级，则需要选择连接器自动升级时间，若新版本发布后将在自动升级时间点内进行后台推送升级，建议您设置在业务低峰期。

SnapCheckpoint(Snapckpt)是由息壤训推智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt加速包 SnapCheckpoint（Snapckpt）是由息壤一体化智算服务平台 训推智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt介绍 Snapckpt是一种为大模型训练打造的易用、可拓展、高性能的断点解决方案。Snapckpt提供了高效便捷的断点存储、加载机制，其主要有以下几大优势： 1. 异步断点保存：通过优化断点保存流程，使得断点保存过程异步化，尽可能减小断点保存过程对于训练的中断，减少训练阶段耗时。 2. 分布式断点存储：对模型机优化器参数进行分布式存储，避免集中式存储带来的额外通信开销，大幅降低存储与加载断点的耗时。 3. 多框架支持：支持MegatronLM、Deepspeed两大主流大模型训练框架。 4. 简单易用：安装及使用方式简单，用户仅需简单步骤即可使用，提升使用效率。 背景信息 在大规模分布式模型训练过程中，系统可能因硬件故障或软件异常导致训练中断。为确保训练进度可恢复，业界普遍采用周期性保存检查点(Checkpoint)的方案。值得注意的是，检查点操作耗时与模型参数量呈正相关关系，当面对参数量达百亿甚至千亿级别的大模型时，每次检查点保存往往需要耗费数分钟至十余分钟不等。特别是在使用MegatronLM框架或原生PyTorch进行训练时，检查点保存过程会强制暂停训练任务，导致宝贵的计算资源被闲置。因此，开发高效的检查点机制以降低时间成本和资源浪费，已成为当前大规模模型训练亟待解决的关键问题。 Snapckpt采用多阶段异步断点存储机制，降低断点存储耗时，减少训练中断带来的影响，从而提升训练速度，提升计算资源有效利用率。

HTTP 2.0业务接入WAF防护是否会对源站有影响？ HTTP 2.0业务接入WAF防护对源站有影响。HTTP 2.0业务接入WAF防护表示WAF可以处理客户端的HTTP 2.0请求，而WAF目前仅支持以HTTP 1.0/1.1协议转发回源请求，即WAF与源站间暂不支持HTTP 2.0。因此，如果您将HTTP 2.0业务接入WAF防护，则源站的HTTP 2.0特性将会受到影响，例如，源站HTTP 2.0的多路复用特性可能失效，造成源站业务带宽上升。 Web应用防火墙支持哪些Web服务框架/协议？ Web应用防火墙部署在云端，与Web服务框架没有关系。 WAF通过对HTTP/HTTPS请求进行检测，识别并阻断SQL注入、跨站脚本攻击、网页木马上传、命令/代码注入、文件包含、敏感文件访问、第三方应用漏洞攻击、CC攻击、恶意爬虫扫描、跨站请求伪造等攻击，保护Web服务安全稳定。 WAF支持防护的协议类型说明如下： WebSocket/WebSockets协议，且默认为开启状态 “对外协议”选择“HTTP”时，默认支持WebSocket “对外协议”选择“HTTPS”时，默认支持WebSockets HTTP/HTTPS协议 WAF可以防护使用HSTS策略/NTLM代理认证访问的网站吗？ 可以。WAF支持防护HTTP/HTTPS协议业务。 网站选择使用HSTS（HTTP Strict Transport Security，HTTP严格传输安全协议）策略后，会强制要求客户端（如浏览器）使用HTTPS协议与网站进行通信，以减少会话劫持风险。配置HSTS策略的网站使用的是HTTPS协议，WAF可以防护。 NTLM（New Technology LAN Manager，Windows NT LAN管理器）代理是Windows平台下HTTP代理的一种认证方式，其认证方式与Windows远程登录的认证方式是一样的，客户端（如浏览器）和代理之前需要三次握手才开始传递信息。 对于客户端（如浏览器）和代理之前使用NTLM认证的业务，WAF可以防护。

本章节主要介绍如何使用SSL进行安全的TCP/IP连接。 DWS支持SSL标准协议，SSL协议是安全性更高的协议标准，它们加入了数字签名和数字证书来实现客户端和服务器的双向身份验证，保证了通信双方更加安全的数据传输。为支持SSL连接方式，DWS已经从CA认证中心申请到正式的服务器、客户端的证书和密钥（假设服务器的私钥为server.key，证书为server.crt，客户端的私钥为client.key，证书为client.crt，CA根证书名称为cacert.pem）。 SSL连接方式的安全性高于普通模式，集群默认开启SSL功能允许来自客户端的SSL连接或非SSL连接，从安全性考虑，建议用户在客户端使用SSL连接方式。并且DWS服务器端的证书、私钥以及根证书已经默认配置完成。如果要强制使用SSL连接，需要在集群“安全设置”页面开启“服务器端是否强制使用SSL连接”，操作详情可参见下方“设置SSL连接”章节，客户端和服务器端SSL连接参数组合情况可请见客户端和服务器端SSL连接参数组合情况。 客户端或JDBC/ODBC应用程序使用SSL连接方式，用户必须在客户端或应用程序代码中配置相关的SSL连接参数。DWS管理控制台提供了客户端所需的SSL证书，该SSL证书包含了客户端所需的默认证书、私钥、根证书以及私钥密码加密文件。请将该SSL证书下载到客户端所在的主机上，然后在客户端中指定证书所在的路径，操作详情请参见下方“在gsql客户端配置SSL认证相关的数字证书参数”章节，SSL认证及客户端参数介绍可参见下方“SSL认证方式及客户端参数介绍”章节。 说明 使用默认的证书可能存在安全风险，为了提高系统安全性，强烈建议用户定期更换证书以避免被破解的风险。如果需要更换证书，请联系数据库客服。

本章节主要介绍 配置并使用互信集群的用户 。 操作场景 配置完跨集群互信后，需要在互信的集群上设置用户的权限，这样本集群中的用户才能访问互信集群中同名用户可访问的资源。 说明 该章节操作仅适用于MRS 3.x之前版本集群。MRS3.x及之后版本集群请参考 前提条件 已完成跨集群互信配置，然后刷新两个集群的客户端。 操作步骤 在集群A的MRS Manager，选择“系统设置 > 用户管理”，检查互信集群B的用户，是否在A集群中已存在相同名字用户。 是，执行步骤2。 否，执行步骤3。 1. 单击用户名左侧的 展开用户的详细信息，检查该用户所在的用户组和角色分配的权限是否满足本次业务需求。 例如，集群A的“admin”用户拥有查看本集群HDFS中目录“/tmp”并创建文件的权限，然后执行步骤4。 2. 创建业务所需要使用的用户，同时关联业务所需要的用户组或者角色。然后执行步骤4。 3. 选择“服务管理 > HDFS > 实例”，查看“NameNode(主)”的“管理IP”。 4. 登录集群B的客户端节点。 例如在Master2节点更新客户端，则在该节点登录客户端，具体参见使用MRS客户端。 5. 执行以下命令，查看集群A中的目录“/tmp”。 hdfs dfs ls hdfs://192.168.6.159:9820/tmp 其中，192.168.6.159是集群A中主NameNode的IP地址，9820是客户端与NameNode通信的默认端口。 6. 执行以下命令，在集群A中的目录“/tmp”创建一个文件。 hdfs dfs touchz hdfs://192.168.6.159:9820/tmp/mrstest.txt 访问集群A，在目录“/tmp”中可查询到mrstest.txt文件，则表示配置跨集群互信成功。

VPC终端节点支持终端节点创建,本文帮助您快速熟悉终端节点的创建。 操作场景 终端节点可以与终端节点服务相关联，以建立VPC通过内网访问外部服务的网络连接。终端节点由服务使用方创建和管理。根据终端节点连接的服务类型，可分为“接口”型和“反向”型。根据实际需求，您可以创建适合您通信需求的终端节点。 约束及限制 单个VPC可以创建终端节点实例数为50个。 操作步骤 1. 点击天翼云门户首页的“控制中心”，输入登录的用户名和密码，进入控制中心页面。 2. 在管理控制台上方点击图标，选择所需的资源池节点，以下操作选择华东华东1。 3. 在系统首页，选择“网络>VPC终端节点”。 4. 在“终端节点”页面，点击“创建终端节点”。 5. 进入“创建终端节点”页面，根据终端节点配置说明完成参数配置，点击“下一步”。 6. 在资源详情页面确认终端节点配置、数量、费用等。 7. 勾选“我已阅读并同意相关协议《天翼云VPC终端节点服务协议》，点击“确认下单”。 终端节点配置说明 参数 说明 地域 终端节点所在地域，页面左上角可切换地域。不同地域的资源之间内网不互通，为了最优化的性能，请选择靠近您的地域，以降低网络时延并提高访问速度。 名称 终端节点的名称。名称由数字、字母、中文、、组成，不能以数字、和开头。 服务类型 可选云服务或按服务实例ID查找服务。说明：其中云服务选项仅部分资源池支持，具体以控制台展示为准。 可选服务/选择服务 选择按服务实例ID查找服务：按服务ID查找可用服务，并进行验证。若开启了访问白名单，验证前，需要将当前用户的邮箱加入用户私有服务的白名单。选择云服务：对象存储ZOS：由系统配置为终端节点服务，实现通过终端节点访问ZOS内网地址（例如华东华东1）。内网DNS:由系统配置为终端节点服务，实现通过终端节点访问内网DNS（例如华东华东1）。 IP地址类型 终端节点的IP类型，IPV4：仅分配IPV4地址，支持IPV4地址访问服务，双栈 ：支持同时分配IPV4和IPV6地址，支持IPV4和IPV6双栈访问服务。说明：此选项仅部分资源池支持，支持资源池和服务以控制台展示为准。 虚拟私有云 选择终端节点所属虚拟私有云。 子网 选择终端节点所属的子网。 内网IP地址（可选） 自动分配内网IP，可通过内网IP直接访问终端节点。 企业项目 选择终端节点所属企业项目。 访问白名单 可选开启或关闭。默认不启用白名单，即所有网段允许访问节点网卡；最多允许20个网段。开启后，需填写允许访问节点网卡的网段，多个网段换行分隔。 私网域名 终端节点是否启用域名访问，使能后可使用服务预置的私网域名访问服务，当服务未开通域名时，不可开启。私网域名的解析需要访问服务源主机需要配置DNS地址为天翼云内网DNS地址，详见更改主机DNS使内网DNS配置生效。 是否编辑标签 配置终端节点的标签。 描述（可选） 终端节点相关的描述。 可选云服务列表： 注意 终端节点可选云服务由相关服务方提供，各资源池支持服务能力不同，可选服务实际能力以控制台可见内容为准 服务后缀 服务说明 zos 对象存储：对象存储是天翼云为客户提供的一种海量、弹性、高可靠、高性价比的存储产品，是专门针对云计算、大数据和非结构化数据的海量存储形态，通过S3协议和标准的服务接口，提供非结构化数据（图片、音视频、文本等格式文件）的云存储服务。 dns 内网DNS：该服务由天翼云内网DNS服务提供，内网DNS服务帮助客户将域名或应用资源转换成用于计算机连接的IP地址，从而将最终用户路由到相应的应用资源上。内网DNS可提供VPC内的安全、全面、高性能的域名解析功能，可直接响应内网域名的解析请求，快速高效，有效防护劫持。 msgc 微服务引擎：该服务由天翼云微服务治理中心提供，天翼云微服务治理中心无缝兼容开源微服务框架，可为微服务应用提供服务治理能力。通过连接微服务治理中心的终端节点，即可在内网连接微服务治理中心控制面，从而实现服务治理。 crs 容器镜像：该服务由天翼云容器镜像服务提供。容器镜像服务是一种支持容器镜像全生命周期管理的服务，提供简单易用、安全可靠的镜像管理功能。在使用容器镜像服务(个人版)产品时，通过连接该终端节点，可实现在内网进行镜像的推送与拉取。 apm 应用性能监控：该服务由天翼云应用性能监控APM提供，天翼云应用性能监控APM为分布式应用提供性能监控、链路追踪、告警管理等能力。通过连接应用性能监控APM的终端节点，即可实现内网上报应用性能监控指标数据。 lts 云日志服务：该服务由天翼云云日志服务提供，天翼云日志服务可为应用的日志数据提供大规模、低成本、集中式的平台化服务。通过连接云日志服务的终端节点，即可内网上报日志数据至云日志服务进行存储。 faas 函数计算：该服务由天翼云函数计算提供。函数计算是一种事件驱动的全托管计算服务。在使用函数计算产品时，通过连接该终端节点，可实现在内网调用函数服务。 gts 全局事务：该服务由天翼云全局事务服务提供，全局事务服务是一款专为实现分布式环境下高性能事务一致性而设计的服务工具。它可以与MySQL、PostgreSQL等数据源，以及Spring Cloud、Dubbo等RPC框架和消息队列等中间件产品配合混合使用，以支持用户各种分布式数据库事务、多库事务、消息事务和服务链路级事务的组合需要 prome 应用性能监控：Prometheus监控为云上托管Prometheus服务，可为您的容器集群提供多种开箱即用的预置监控大盘与监控规则，实现免搭建的高效运维场景。 ags Agent沙箱：Agent 沙箱提供安全、弹性、可扩展的云端沙箱运行环境。在使用Agent沙箱产品时，通过连接该终端节点服务，可实现在内网调用沙箱服务。

是否支持跨Region访问？ Kafka可以跨Region访问，但是跨Region目前只能通过公网访问或者购买云间高速服务。 Kafka实例是否支持不同的子网？ 支持。客户端与实例在相同VPC内，可以跨子网段访问。同VPC下不同子网之间默认互通。更多子网信息请参见虚拟私有云介绍。 Kafka是否支持Kerberos认证，如何开启认证？ 不支持Kerberos认证。kafka支持SASLPLAINTEXT安全接入点接入。 开启公网访问后，在哪查看公网IP地址？ 可以在实例列表设置公网IP窗口查看各节点绑定的公网IP地址。 Kafka支持服务端认证客户端吗？ Kafka 支持通过 SASL（Simple Authentication and Security Layer）等认证机制实现服务端对客户端的主动认证。SASL 是一种用于通信安全的框架，它允许在客户端和服务器之间进行认证和授权。 客户端单IP连接的个数为多少？ Kafka目前对单个IP连接数没有限制，主要取决于实例连接数，具体可参见常见问题kafka实例连接数有限制吗？ Kafka实例的内网连接地址可以修改吗？ 在实例创建后，内网连接地址不支持修改。

rpm ivh dto包名.rpm 安装完成后，确认当前DTO版本信息与安装包名的版本是否一致： rpm qa grep dto 编辑system.conf文件（安装包安装的默认位置为：/usr/drbksoft/dto/conf/）来指定与控制机通信的DTO主机IP地址，具体添加内容如下： rpcip 0.0.0.0 说明：如果要求必须指定具体IP地址，则需要填写DTO主机网卡的实际IP地址；如果DTO主机有多个IP地址时，则需要配置控制机（Webconsole主机）能够访问的DTO主机IP地址。 2. 进入到DTO的安装路径下，本例为默认安装路径： cd /usr/drbksoft/dto/ DTO安装后需要使用命令如下设置密码（exampleuser用户的密码），在控制台上注册DTO主机认证时使用： /usr/drbksoft/dto/jdk/bin/java jar /usr/drbksoft/dto/lib/dto.jar resetPasswd 同时需要生成对应的认证码用于在控制台上注册。 /usr/drbksoft/dto/jdk/bin/java jar /usr/drbksoft/dto/lib/dto.jar ccproxyConfig 填写代理主机地址（nodeproxymdr），提示success说明连接成功。 3. 重启drdto： systemctl restart drdto b）DTO启动与停止 DTO有两种启停方式：服务方式和脚本方式，选择其中一种方式进行启/停操作即可，推荐使用脚本方式。不同方式的适用场景如下： 1. 服务方式：备份服务器和DTO在同一台机器上，如本地/NAS存储与对象存储间数据同步场景。 2. 脚本方式：备份服务器和DTO在不同机器上，如对象存储与对象存储间数据同步场景。 服务方式：DTO和备份服务器在一起时，配置内存建议是16~24G。服务方式使用系统命令进行DTO的启动和停止，相关命令如下： 1. 进入到dto的安装路径下，本例为默认安装路径：

一直卡在上传界面直到超时 问题现象 ：通过页面上传镜像，一直卡在上传界面直到超时。 问题原因 ： 镜像命名不规范，导致上传失败。 页面上传走公网链路，可能会因为网络不稳定导致传输异常。 解决方法 ： 您可以按照镜像命名规范修改镜像名称后，重新上传镜像。 建议更换网络环境，或者通过容器引擎客户端上传。 为什么docker pull指令执行失败？ x509: certificate sigined by unknown authority 问题现象： 使用docker pull拉取镜像，报错“x509: certificate sigined by unknown authority”。 问题原因： 容器引擎客户端和SWR之间使用HTTPS的方式进行通信，客户端会对服务端的证书进行校验。如果客户端安装的根证书不完整，会报如下错误：“x509: certificate sigined by unknown authority”。 容器引擎客户端配置了Proxy导致。 解决方法： 如果您信赖服务端，跳过证书认证，那么可以手动配置容器引擎的启动参数，配置如下（其中地址配置成需要的即可，选择一个配置即可）： /etc/docker/daemon.json（如果没有可以手动创建），在该文件内添加如下配置（注意缩进，2个空格）： { "insecureregistries":["镜像仓库地址"] } /etc/sysconfig/docker： INSECUREREGISTRY'insecureregistry镜像仓库地址' 添加配置后执行如下命令重启：systemctl restart docker 或service restart docker。 执行docker info命令，检查Proxy配置是否正确，修改为正确的Proxy配置。 Error response from daemon 问题现象： 使用docker pull拉取官方镜像，如docker pull elasticsearch:5时，报错“Error response from daemon: Get net/http: request canceled while waiting for connection (Client.Timeout exceeded while awaiting headers)”。 问题原因： Docker默认的源为国外官方源，镜像拉取速度较慢，可能因超时而拉取失败。 解决方法： 将Docker镜像源修改为容器镜像服务或国内镜像源地址。

文件系统的读写速度与什么相关？ 读写速度同时受带宽及IOPS的影响，对于大文件的业务，受带宽影响较大。对于小文件业务，受IOPS影响较大。单个文件系统的读写性能上限与文件系统类型及大小相关，请参见产品规格弹性文件服务。 文件系统的性能指标有哪些？ 文件系统有三个性能指标：IOPS，带宽，时延。 IOPS (Input/Output Per Second)即每秒的IO操作次数(或读写次数)。对于小文件读写频繁的场景，主要关注IOPS指标。 带宽是指单位时间内最大的数据传输流量，对于主要访问大文件的场景，更多需要考虑该指标。 时延是指一次读/写所花费的时间，由于大IO可能包含多次读/写，一般指标采用的是小IO的平均时延。该指标受网络状态及文件系统繁忙程度影响较大。 如何提升Linux操作系统上访问NAS的性能？ NFS客户端对同时发起的NFS请求数量进行了控制，默认为2。修改sunrpc.tcpslottableentries可以提升单机访问NAS的吞吐，建议您将该参数值修改为8： echo "options sunrpc tcpslottableentries8" >> /etc/modprobe.d/sunrpc.conf echo "options sunrpc tcpmaxslottableentries8" >> /etc/modprobe.d/sunrpc.conf sysctl w sunrpc.tcpslottableentries8 以上指令需在首次挂载前执行，之后永久生效。 该参数决定了NFS单个链接内的通信slot数量。slot配置过高可能引起延迟增加，配置过低会引起吞吐不足。当您需要较低延迟时，建议将slot配置为16及以下。当您需要大吞吐时，建议将slot适当调大。

本章节主要介绍翼MapReduce服务的操作类常见问题。 如何使用组件客户端？ 1. 以root用户登录任意一个Master节点。 2. 执行su omm命令，切换到omm用户。 3. 执行cd 客户端安装目录 ，切换到客户端。 4. 执行source bigdataenv命令，配置环境变量。如果当前集群已启用Kerberos认证，执行kinit 组件业务用户认证当前用户。如果当前集群未启用Kerberos认证，则无需执行此命令。 5. 环境变量配置成功后，即可执行组件的客户端命令。例如查看组件的相关信息，可执行HDFS客户端命令hdfs dfs ls /查看HDFS根目录文件。 集群支持提交哪些形式的Spark作业？ 在翼MR后台中，集群支持提交Spark、Spark Script和Spark SQL形式的Spark作业。 翼MR集群的计算资源最大值为0后，还可以跑Spark任务吗？ 翼MR集群的租户计算资源最大值改为0后，不可以跑Spark任务。 Spark作业的Client模式和Cluster模式有什么区别？ 理解YARNClient和YARNCluster深层次的区别之前先清楚一个概念：Application Master。 在YARN中，每个Application实例都有一个ApplicationMaster进程，它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源，获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARNCluster和YARNClient模式的区别其实就是ApplicationMaster进程的区别。 YARNCluster模式下，Driver运行在AM(Application Master)中，它负责向YARN申请资源，并监督作业的运行状况。当用户提交了作业之后，就可以关掉Client，作业会继续在YARN上运行，因而YARNCluster模式不适合运行交互类型的作业。 YARNClient模式下，Application Master仅仅向YARN请求Executor，Client会和请求的Container通信来调度工作，也就是说Client不能离开。

背景介绍 istio服务网格默认通过iptables的方式劫持流量，一次请求会多次经过iptables和TCP/IP协议栈，增加请求的耗时。通过ebpf技术，可以绕过iptables和协议栈，加速同pod内业务容器和sidecar容器之间以及同节点的sidecar之间的通信，降低网络开销。 使用限制 开启条件： 操作系统发行版启用 cgroup v2。 Linux 内核为 5.8 或更高版本。公共镜像建议使用ctyunos 23.01以上版本，该版本内核为5.10。 cpu架构暂时只支持x86。 关于启用cgroup v2 需要进入对应节点，登录入口在ccse控制台>集群>节点>操作>更多>远程登录 登录后执行以下步骤： 1. 修改/etc/default/grub的GRUBCMDLINELINUX，增加一个参数systemd.unifiedcgrouphierarchy1 2. 重新生成grub.cfg文件，grub2mkconfig o /boot/grub2/grub.cfg（若使用了efi引导分区，则执行grub2mkconfig o /boot/efi/EFI/ctyunos/grub.cfg） 3. 重启操作系统 注意 开启cgroup v2有以下风险，请细致评估后再进行操作： 1. cgroup v2布局方式与v1完全不同，如果您已经有挂载v1的业务节点（非系统自带的节点），建议完全清空切换到v2。 2. 有部分节点为cgroup v1部分节点为cgroup v2的情况下，可能会产生不可知的风险，建议整个集群都统一切换到一个版本。 3. cgroup v2依赖systemd进行配置分发，在一些极端场景下可能需要额外对system进行性能调优。 4. 集群中已经存在pod使用 cgroup 特性时，重启节点后，存量pod未必会生效。 综上，建议在新开通的集群中进行cgroup切换，并保证后续扩容节点也要及时对齐cgroup版本。已有业务的存量集群不建议进行切换。

支持接入websocket吗？ 边缘安全加速平台支持websocket加速。边缘安全加速平台支持对websocket协议和http/https协议同时加速，即同一个域名可以既有http/https协议，又有websocket，您无需拆分域名，使用边缘安全加速平台就可以实现对域名下http/https协议的应用和websocket协议的同时服务。 边缘节点会自动识别客户端与边缘节点通信使用的协议，自动切换协议。通常情况下，websocket协议的应用多为动态业务，对实时性要求很高，全站加速的动态探测选路能力可以为websocket应用选择最快的回源路径，提升websocket业务的访问效果。 已接入防护的网站，收到未配置的端口请求是否会透传回源，对源站带来安全风险？ 安全与加速对外提供流量接入转发服务，服务集群会按照网站接入时配置的HTTP/HTTPS端口提供对应的端口用于您的网站接入和防护服务。 对于已接入防护服务的网站，服务集群不会转发接入时未配置的HTTP/HTTPS端口请求流量到源站服务器。因此，不会对源站服务带来任何安全风险和威胁。 CC攻击防护攻击永久模式是什么？ 在常规情况下，我们通常将CC防护策略设置为阈值模式。然而，如果您发现阈值模式无法拦截CC攻击，或者正在遭受大规模CC攻击，您可以启用CC永久模式。 CC攻击永久模式意味着所有访问请求都会按照请求方式执行相应的防护校验。永久模式可以高效地拦截CC攻击，但可能会导致较多的误拦截。因此，我们建议您可联系我们，共同解决问题，并根据具体情况制定适合您业务需求的安全策略，以提高网站的安全性和可用性。

本页介绍如何配置SSL CA证书用于访问关系数据库MySQL版的实例。 操作场景 为了提高关系数据库MySQL版的链路安全性，您可以启用SSL（Secure Sockets Layer）加密，并安装SSL CA证书到需要的应用服务。SSL在传输层对网络连接进行加密，能提升通信数据的安全性和完整性，同时会增加网络连接响应时间。 约束限制 实例的SSL状态需要为“开启”状态。 已下载SSL CA证书。 操作步骤 开启SSL加密后，应用或者客户端连接MySQL时需要配置SSL CA证书。本文以MySQL Workbench、Navicat配置方法为例，介绍SSL CA证书安装方法。其它应用或者客户端请参见对应产品的使用说明。 MySQL Workbench配置方法: 1. 打开MySQL Workbench。 2. 选择Database > Manage Connections。 3. 启用Use SSL，并导入SSL CA证书。 说明 如果关闭SSL后又需要重新开启，SSL CA证书将会重新生成，用户需要下载最新的证书连接数据库，旧证书将失效无法进行数据库连接。 为防止开启SSL后无需证书也可以连接数据库，请设置用户登录方式限制，指令可参考：alter user 'root'@'%' require ssl。 Navicat配置方法: 1. 打开Navicat。 2. 选择目标数据库并单击鼠标右键，选择编辑连接。 3. 选择SSL页签，选择.pem格式CA证书的路径。 4. 单击确定。 5. 通过双击目标数据库来测试能否正常连接。 通过SSL连接数据库示例代码，Python示例： 1. 需要首先安装依赖pymysql shell pip install pymysql 2. 编写代码 python import pymysql import traceback try: conn pymysql.connect( host'192.168..', user'', passwd'', db'', sslTrue, sslca'/path/cafilename') cursor conn.cursor() cursor.execute('select version()') data cursor.fetchone() print('Database version:', data[0]) cursor.close() except pymysql.Error as exc: print(traceback.formatexc())

选择分布列 采用Hash分布方式，需要为用户表指定一个分布列（distribute key）。当插入一条记录时，系统会根据分布列的值进行hash运算后，将数据存储在对应的DN中。 所以Hash分布列选取至关重要，需要满足以下原则： 1.列值应比较离散，以便数据能够均匀分布到各个DN 。例如，考虑选择表的主键为分布列，如在人员信息表中选择身份证号码为分布列。 2.在满足第一条原则的情况下尽量不要选取存在常量filter 的列 。例如，表dwcjk相关的部分查询中出现dwcjk的列zqdh存在常量的约束(例如zqdh’000001’)，那么就应当尽量不用zqdh做分布列。 3.在满足前两条原则的情况，考虑选择查询中的连接条件为分布列 ，以便Join任务能够下推到DN中执行，且减少DN之间的通信数据量。 对于Hash分表策略，如果分布列选择不当，可能导致数据倾斜，查询时出现部分DN的I/O短板，从而影响整体查询性能。因此在采用Hash分表策略之后需对表的数据进行数据倾斜性检查，以确保数据在各个DN上是均匀分布的。可以使用以下SQL检查数据倾斜性 select xcnodeid, count(1) from tablename group by xcnodeid order by xcnodeid desc; 其中xcnodeid对应DN，一般来说，不同DN 的数据量相差5% 以上即可视为倾斜，如果相差10% 以上就必须要调整分布列 。 4.一般不建议用户新增一列专门用作分布列，尤其不建议用户新增一列，然后用SEQUENCE的值来填充做为分布列。因为SEQUENCE可能会带来性能瓶颈和不必要的维护成本。

SnapCheckpoint(Snapckpt)是由息壤一体化智算服务平台 一站式智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt加速包 SnapCheckpoint（Snapckpt）是由息壤一体化智算服务平台 一站式智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt介绍 Snapckpt是一种为大模型训练打造的易用、可拓展、高性能的断点解决方案。Snapckpt提供了高效便捷的断点存储、加载机制，其主要有以下几大优势： 1. 异步断点保存：通过优化断点保存流程，使得断点保存过程异步化，尽可能减小断点保存过程对于训练的中断，减少训练阶段耗时。 2. 分布式断点存储：对模型机优化器参数进行分布式存储，避免集中式存储带来的额外通信开销，大幅降低存储与加载断点的耗时。 3. 多框架支持：支持MegatronLM、Deepspeed两大主流大模型训练框架。 4. 简单易用：安装及使用方式简单，用户仅需简单步骤即可使用，提升使用效率。 背景信息 在大规模分布式模型训练过程中，系统可能因硬件故障或软件异常导致训练中断。为确保训练进度可恢复，业界普遍采用周期性保存检查点(Checkpoint)的方案。值得注意的是，检查点操作耗时与模型参数量呈正相关关系，当面对参数量达百亿甚至千亿级别的大模型时，每次检查点保存往往需要耗费数分钟至十余分钟不等。特别是在使用MegatronLM框架或原生PyTorch进行训练时，检查点保存过程会强制暂停训练任务，导致宝贵的计算资源被闲置。因此，开发高效的检查点机制以降低时间成本和资源浪费，已成为当前大规模模型训练亟待解决的关键问题。 Snapckpt采用多阶段异步断点存储机制，降低断点存储耗时，减少训练中断带来的影响，从而提升训练速度，提升计算资源有效利用率。

本文介绍HTTPS定义及配置方法。 功能介绍 HTTP协议以明文方式发送内容，不提供任何方式的数据加密。HTTPS协议是以安全为目标的HTTP通道，简单来说，HTTPS是HTTP的安全版，即将HTTP用SSL/TLS协议进行封装，HTTPS的安全基础是SSL/TLS协议。 在天翼云客户控制台开启HTTPS协议，可实现客户端和天翼云全站加速节点之间数据包的安全加密传输。如果想要实现全链路HTTPS传输，则需要在全站加速节点配置HTTPS协议回源（源站服务器需支持HTTPS协议）。 HTTPS请求的基本流程： 1. 客户端向全站加速节点发起HTTPS请求。 2. 全站加速节点将对应域名的SSL证书公钥发送给客户端。 3. 客户端验证对应证书公钥是否正确，如果正确则随机生成一个密钥A，并使用公钥加密后发送给全站加速节点。 4. 全站加速节点使用SSL证书对应私钥进行解密，得到密钥A。 5. 客户端与全站加速节点在后续通信过程中使用密钥A对传输的数据加密。 6. 客户端与全站加速节点使用密钥A对收到的数据进行解密，获取对应数据。 配置说明 1. 登录客户控制台。 2. 单击左侧导航栏【域名管理】【域名列表】。 3. 在【域名列表】页面，找到目标域名，单击【操作】列的【编辑】。 4. 单击右侧【请求协议】，勾选【请求协议】中的【HTTPS】。 5. 单击右侧【HTTPS配置】，选择域名对应的国际标准证书、国密证书。如果已经在【证书管理】上传证书，可直接选择对应域名证书。如果还未上传证书，可单击【点击上传】，添加对应证书。添加完毕后，再选择对应证书，如未找到目标证书，可点击右侧的刷新按钮刷新后再重新选择。 6. 单击【保存】，完成配置。

本文介绍控制台（或API）用量分析里的流量与日志统计的流量有差异的原因。 客户控制台上可查询带宽、流量等统计数据，该数据同时也应用于生成计费账单，其流量会比基于访问日志统计的流量偏多。原因是全站日志中记录的流量数据是基于应用层日志中响应消息头+响应body体统计出的流量，而在实际网络请求中产生的网络流量，由于存在TCP/IP包头消耗和TCP重传，要比应用层统计到的流量数据高出7%~15%。因此按照业界标准，应用于账单的计费值会比基于访问日志计算得出的计费值上浮10%。 TCP/IP包头的消耗 HTTP请求是基于TCP/IP协议的，数据包是TCP/IP协议通信传输中的数据单位，我们在使用基于TCP/IP协议的网络时，网络中传递的其实就是数据包。每个数据包的大小最大是1500字节，这1500字节中包括了TCP和IP协议组成的40个字节的包头，这两个协议包头其实也会产生流量，但是却无法被应用层统计到，因此这40个字节的流量就不会被统计到日志里，这部分的流量会占到我们通过日志计算出流量的2.74%（40/1460）以上，即3%左右。 TCP重传 根据互联网中网络的负载情况，通常情况下，会有接近3%~10%的数据包会因为网络堵塞、设备故障等各种异常情况被丢弃。发生丢包后，服务器会对丢弃的数据包进行重传，这部分的具体操作是由内核层的协议栈处理完成的，通常无法被应用层统计到的，因此在一定程度上也会造成日志统计与实际网络响应流量的差异。 综上所述，天翼云全站加速产品取平均值10%作为网络层额外消耗的流量比例，即应用于账单的计费值会比基于访问日志计算得出的计费值上浮10%。

本文为您介绍如何基于Service实现集群内访问负载均衡。 背景信息 Kubernetes Service是一组具有相同标签的 Pod 集合的抽象，可以简单地理解为集群内的负载均衡器，集群内外的各个服务可以通过 Service 进行互相通信。不同类型的 Service 适合不同的场景，本文将重点讨论每种类型的 Service 的适用场景以及 kubeproxy 如何实现 Service 的负载均衡。 前提条件 确保您已经创建Serverless集群，具体操作请参阅创建Serverless集群。 确保kubectl工具已经连接目标集群。 假设您在一个K8S的集群里面发布了两个应用，前端应用frontend和后端应用backend，前端应用要访问后端应用。 确保您的Serverless集群已安装CoreDNS插件。 实现原理 Service和iptables模式的kubeproxy在kubernetes集群中的工作原理如下： 操作步骤 步骤一：创建后端应用和前端应用 这里使用nginx代表后端应用，部署2个副本；busybox代表前端应用，可以从busybox中访问nginx的80端口。 1. 登录容器服务控制台，在左侧菜单栏选择“集群”。 2. 在集群列表页面，选择目标集群名称，然后在左侧菜单栏选择“工作负载”下的“无状态”，点击“创建deployment”。 也可以使用yaml创建工作负载，创建nginx工作负载参考如下： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "nginxdeploy" namespace: "default" spec: replicas: 2 selector: matchLabels: name: "nginxdeploy" template: metadata: labels: name: "nginxdeploy" source: "CCSE" spec: containers: image: "registryvpccrshuadong1.ctyun.cn/opensource/nginx:1.25alpineamd64" imagePullPolicy: "IfNotPresent" name: "nginx" 创建busybox工作负载参考如下： apiVersion: "apps/v1" kind: "Deployment" metadata: name: "lintest3deploy" namespace: "default" spec: replicas: 1 selector: matchLabels: name: "busybox" template: metadata: labels: name: "busybox" spec: containers: image: "registryhuadong1.crsinternal.ctyun.cn/opensource/busybox:1.36" imagePullPolicy: "IfNotPresent" name: "busybox" command: "tail" "f" "/dev/null"

分布式消息服务Kafka版完全兼容开源社区版本，旨在为用户提供便捷高效的消息队列。业务无需改动即可快速迁移上云，为您节省维护和使用成本。 一键式部署，免去集群搭建烦恼 专享实例只需要在实例管理界面选好规格配置，提交订单。后台将自动创建部署完成一整套Kafka实例。 兼容开源，业务零改动迁移上云 兼容社区版Kafka的API，具备原生Kafka的所有消息处理特性。 业务系统基于开源的Kafka进行开发，只需加入少量认证安全配置，即可使用分布式消息服务Kafka，做到无缝迁移。 说明：Kafka专享实例兼容开源社区Kafka 1.1.0和2.3.0版本。在客户端使用上，推荐使用和服务端版本一致的版本。 安全保证 独有的安全加固体系，提供业务操作云端审计，消息存储加密等有效安全措施。 在网络通信方面，除了提供SASL认证，还借助虚拟私有云（VPC）和安全组等加强网络访问控制。 数据高可靠 Kafka专享实例支持消息持久化，多副本存储机制。副本间消息同步、异步复制，数据同步或异步落盘多种方式供您自由选择。 集群架构与跨AZ部署，服务高可用 Kafka后台为多集群部署，支持故障自动迁移和容错，保证业务的可靠运行。 Kafka专享实例支持跨AZ部署，节点部署在不同的AZ，进一步保障服务高可用。 无忧运维 公有云提供一整套完整的监控告警等运维服务，故障自动发现和告警，避免724小时人工值守。Kafka专享实例自动上报相关监控指标，如分区数、主题数、堆积消息数等，并支持配置监控数据发送规则，您可以在第一时间通过短信、邮件等获得业务消息队列的运行使用和负载状态。 海量消息堆积与弹性扩容 内建的分布式集群技术，使得服务具有高度扩展性。分区数可配置多达100个，存储空间弹性扩展，保证在高并发、高性能和大规模场景下的访问能力，轻松实现百亿级消息的堆积和访问能力。 多规格灵活选择 Kafka专享实例的带宽与存储资源可灵活配置，并且自定义Topic的分区数。

参数 说明 取值样例 客户经理信息 填写用户的客户经理人力编码 7112xxx@HQ 缴费地 选择缴费地所在的省市信息 山东省青岛市 客户信息 选择当前客户对应的客账号信息 —— 节点类型 选择新增或补点。若需从头开始组建一张全新的算力专网，需选择“新增”以创建第一个节点；若需在专网内继续补充其他节点，请选择“补点” 新增 CE城市 选择算力专网站点的城市信息 山东省青岛市市南区 装机地址 填写算力专网站点的详细地址 —— CE端联系人 填写算力专网站点在安装过程中的联系人姓名 李四 CE端联系电话 填写算力专网站点在安装过程中的联系电话 13511111111 CE端联系邮箱 填写算力专网站点在安装过程中的联系邮箱 123@email.com 网络拓扑 选择业务的组网形式 全网状 服务类型 选择业务所需服务类型 标准服务 站点类型 选择创建算力专网站点的类型 总部/分支等普通站点 接入方式 选择算力专网站点接入专网的方式 IPRAN CE接口封装类型 选择客户侧站点专线接入交换机端口类型 802.1Q 站点可利用率 选择算力专网站点的接入是单电路或双电路 A CE/PE路由协议 选择CE端设备与PE端设备的路由协议 静态 站点路由数 填写算力专网站点所需路由条目数 20 路由条目数超限处理方式 选择当路由条目数超出路由器限制时的处理方式 定期重启 客户LAN网段地址/掩码 填入客户侧站点内网网段，此网段将通过算力专网产品网络与其它站点通信 172.19.0.0/30 CE端口互联IP 填写CE端口绑定的IP地址 172.19.0.1/30 PE端口互联IP 填写PE端口绑定的IP地址 172.19.0.2/30 接入电路速率 选择本次订购站点的接入带宽 20M 资源具备情况 查看用户的装机地址下是否具备资源 具备 是否开启流量计费 用户是否选择开启流量计费模式 否

本小节介绍传输加密相关的常见问题。 智能选路是如何实现的？ 智能选路采用WebAgent来实现。VPN设备会把多个链路IP上报到WebAgent，客户端设置WebAgent为服务器端，发起VPN连接时，WebAgent会将VPN网关多个链路IP发给客户端，客户端从这些IP下载相同的图片文件，从中选择一个时间最短的IP作为最优的链路地址。 L2TP是二层的，会比SSL VPN更安全吗？ L2TP之所以被称为二层，是因为隧道内的载荷报文是二层的，但是承载报文是UDP的，在这点上是和SSL相似的。但是L2TP本身不具备加密机制，所以L2TP不会比SSL VPN更安全。 既然用了VPDN，用户就会觉得通信链路很安全，为什么还需要VPN加密？ VPDN的线路和手机上网是一样的，数据从手机到基站是用无线编码的，具备一定的保密性，从基站到运营商内部核心网路由器，再从核心网路由器通过专线到客户那里，基本都是IP明文传输。VPDN相比普通用户上网安全性高一些，因为运营商核心网路由器到客户侧是专线，专线数据很难被黑客监听，而手机上网是从运营商核心网路由器直连Internet的。但是，从严格的安全保护角度，VPDN并不能保证从手机到客户都是全程加密的，因此要求在VPND专线的基础上进行SSL加密。 SSL产品支持的算法有哪些？ SSL相关算法：SM2、SM3、RSA、MD5、RSA1024、RSA2048、SHA1、SHA256、DES、3DES、AES、SANGFORDES、SM1、SM4、DH、RC4。 算法用途：身份鉴别、访问控制、审计记录、程序安全、数据传输、密钥管理。 IPSEC相关算法：MD5、SHA1、SM3、DES、3DES、SANGFORDES、SM4。 算法用途：身份鉴别、访问控制、审计记录、程序安全、数据传输、密钥管理。

Calico IPIP隧道网络 使用Calico网络插件的集群，网络地址段规划如下图所示： VPC网段：集群所在的VPC网段，该网段大小影响可创建的子网大小和数量； 节点子网网段：集群节点所在的子网网段，该网段大小直接影响后续可新增的节点数； 容器网段：容器网段不能和VPC网段、服务网段重叠；多个集群的容器网段可以重叠，但不同集群的Pod无法直接通过容器IP通信，Pod的跨集群访问需借助LoadBlance类型的Service等方式； 服务网段：同一集群的服务网段不能和VPC网段、容器网段重叠；不同集群的服务网段可以重叠，因为服务网段地址只在集群内部有效； Cubecni VPC网络 使用Cubecni网络插件的集群，网络地址段规划如下图所示： VPC网段：集群所在的VPC网段，该网段大小影响可创建的子网大小和数量，影响集群可创建的节点数与Pod数之和； 节点子网网段：集群节点所在的子网网段，该网段大小直接影响后续可新增的节点数； 容器子网网段：是VPC的子网，Pod直接从该子网分配IP，因为子网可用IP数直接决定了Pod数上限，建议选择一个大子网专用于容器子网网段；不同集群的Pod之间可以直接通过IP访问； 服务网段：同一集群的服务网段不能和VPC网段重叠；不同集群的服务网段可以重叠，因为服务网段地址只在集群内部有效； 集群跨VPC互联场景 不同VPC之间网络不通，为打通同一个区域不同VPC的网络互联，可通过对等连接实现。配了对等连接的两个VPC，可进一步配置对等连接的本端路由和对端路由，以确保网络流量能够正确地传输，详见：对等连接产品介绍