客户域名可能会因为恶意攻击、网站恶意盗刷等各种恶意访问行为产生突发流量或带宽，进而在DDoS 高防（边缘云版）产生超出日常正常加速的服务费用。本文侧重介绍如何避免因恶意攻击带来的高额账单风险。 方法一：设置可用额度预警 通过对客户在天翼云官网账户的可用额度预警进行设置，当用户的余额低于阈值，系统会发送短信提醒。 操作步骤： 1. 登录天翼云账户。 2. 单击右上角。 3. 单击【费用中心】。 4. 打开【可用额度预警】开关，修改预警阈值，当用户的余额低于阈值，系统会发送短信提醒。 方法二：开通安全防护功能 DDoS 高防（边缘云版）是针对游戏、互联网及金融等业务遭受大流量 DDoS 攻击导致用户服务不可用的情况而推出的付费防护服务，如果客户的业务存在潜在的被恶意访问风险，需要抗DDoS和抗CC攻击的安全防护功能，建议开通DDoS高防（边缘云版），详情请见：DDoS高防（边缘云版）；如果客户的网站既需要进行流量型DDoS攻击的防护，同时也需要对精巧的Web应用层攻击时进行防御，建议叠加Web应用防火墙（边缘云版）进行联合防御。详情请见：叠加Web应用防火墙（边缘云版）。

天翼AI云电脑（政企版）GPUAI云电脑产品规格如下： 产品名称 规格类型 功能适用 系统支持 GPUAI云电脑 4核8G 1B Nvidia T4 显存 120GB SSD 系统盘 满足学校教学， 普通图像办公，高清视频播放等需求 Windows GPUAI云电脑 8核16G 2B Nvidia T4 显存 120GB SSD 系统盘 满足学校教学， 普通图像办公，高清视频播放等需求 Windows GPUAI云电脑 4核8G 2Q Nvidia T4 显存 120GB SSD 系统盘 搭配高性能显卡及固态硬盘，满足企业图形设计、图形渲染、3D制作等需求 Windows GPUAI云电脑 8核16G 4Q Nvidia T4 显存 120GB SSD 系统盘 搭配高性能显卡及固态硬盘，满足企业图形设计、图形渲染、3D制作等需求 Windows GPUAI云电脑 16核32G 8Q Nvidia T4 显存 120GB SSD 系统盘 搭配高性能显卡及固态硬盘，满足企业图形设计、图形渲染、3D制作等需求 Windows GPUAI云电脑 32核64G 16Q Nvidia T4 显存 120GB SSD 系统盘 搭配高性能显卡及固态硬盘，满足企业图形设计、图形渲染、3D制作等需求 Windows GPUAI云电脑（渲染版） 4核8G 渲染版显卡 1G 显存 120GB SSD 系统盘 满足学校电子教室3D One、工业设计CAD（小模型推荐）、VR看房等轻3D应用场景 Windows GPUAI云电脑（渲染版） 8核16G 渲染版显卡 2G 显存 120GB SSD 系统盘 满足学校电子教室3D One、工业设计CAD（小模型推荐）、VR看房等轻3D应用场景 Windows GPUAI云电脑（渲染版） 16核32G 渲染版显卡 4G 显存 120GB SSD 系统盘 支持较大型的工业设计（如CAD模型零件较多）、视频编辑等场景 Windows GPUAI云电脑（渲染版） 16核32G 渲染版显卡 8G 显存 120GB SSD 系统盘 支持较大型的工业设计（如CAD模型零件较多）、视频编辑等场景 Windows 说明 1.GPUAI云电脑中的B和Q均是虚拟显存。 B显存系列最高可虚拟2G的显存，不支持cuda、opencl硬件加速，适合一些对图形处理要求不高的基础应用场景，如日常办公、网页浏览等。 Q显存系列支持更多规格，具备更全面的图像加速能力。更适合于需要高性能图形处理能力的场景，如3D图形设计、视频编辑、视频直播等。 2.GPUAI云电脑（渲染版）目前可在以下资源池订购开通：广东佛山3、内蒙6、湖南长沙11、新疆乌鲁木齐3、宁夏中卫6。

软件正版管理功能用于管控企业购买的正版化商业软件,帮助您辅助分析终端盗版软件的状况。 背景说明 企业经常因为员工使用盗版软件而陷入法律纠纷，管理员需要查看哪些软件授权超额使用了，以保障企业内部安全合规使用商业付费软件。 注意 客户端版本：支持Windows客户端，需为2.23.10及以上客户端。支持macOS客户端，需为2.24.10及以上客户端。 套餐版本：已订购终端管理基础版套餐或零信任企业版套餐。 操作步骤 1. 登录边缘安全加速控制台，选择【终端管理】。 2. 在左侧导航栏展开软件管控并点击【正版管理】，查看正版管理相关内容。 3. 可根据业务需求进行相关配置。 正版采集 在页面右上角打开正版软件采集开关，即可把企业员工的正版软件安装情况采集到控制台展示。 正版分析 开启“正版软件采集”并配置“正版软件管控策略”后，即可查看企业员工的正版分析数据。 1.概览 超额软件数量：有多少软件处在超额状态。 超额授权数量：超额安装的软件授权数量求和。 已开启监控 / 软件总数：已开启软件监控的数量、软件总数。 正版分析检测周期：默认为2小时。 最新上报时间：最近一次软件采集和分析的时间。 2.统计分析 授权超额排行 TOP 10：软件超额安装数量从大到小排列。 接收卸载任务排行 TOP 10：某台设备的软件接收到卸载任务，则纳入计数。所有软件的计数求和即为这台设备的接收次数。 忽视卸载任务排行 TOP 10：某台设备的软件接收到卸载任务后，如果软件仍在使用，则纳入计数。所有软件的计数求和即为这台设备的忽视次数。

全球（不含中国内地）价格 按流量计费的加速区域为全球（不含中国内地）时，包含了北美、欧洲、亚太1区、亚太2区、亚太3区、中东/非洲、南美共7个计费区域，按照阶梯累进模式，执行如下标准资费。 流量阶梯 北美 欧洲 亚太1区 亚太2区 亚太3区 中东/非洲 南美 计费单位 (0GB，10TB] 0.28 0.28 0.43 0.54 0.63 0.81 0.68 元/GB (10TB，50TB] 0.23 0.23 0.39 0.50 0.59 0.76 0.63 元/GB (50TB，100TB] 0.18 0.18 0.35 0.43 0.56 0.70 0.59 元/GB (100TB，1PB] 0.15 0.15 0.33 0.38 0.50 0.67 0.56 元/GB (1PB，+∞) 0.14 0.14 0.32 0.37 0.44 0.65 0.55 元/GB 计费规则 计费方式：按需流量后付费或资源包计费（预付费）。 计费周期：按小时结算，定时扣费。（当月最终账单将在次月3日生成，在次月4日10点后可查看和导出，具体出账时间以系统为准。） 计费场景：适用于流量曲线波动较大，有带宽尖峰，且全天内带宽利用率小于30%的客户。 计费方向：视频直播默认只计费下行播放费用。但当上行推流费用和下行播放费用的比例大于1:50时，则同时会收取上行推流费用，单价与下行播放费用一致。 全球（不含中国内地）划分说明： 北美：美国、加拿大等 欧洲：德国、法国、荷兰、英国等 亚太1区：除中国台湾、印尼、印度、韩国、澳大利亚、新西兰外的亚太国家/地区 亚太2区：中国台湾、印尼、印度 亚太3区：韩国、澳大利亚、新西兰 中东/非洲：阿联酋、南非、尼日利亚、埃及等国家/地区 南美：墨西哥、巴西等

本文解释从天翼云CDN访问到的文件和直接回源结果不一样的原因和解决方案。 背景说明 使用天翼云CDN加速后，如用户请求的文件在节点已有缓存，则直接响应给用户；如用户请求的文件为首次访问，或文件过期，则CDN节点会回源站获取文件，缓存在节点并响应给用户。 正常情况下，用户请求CDN节点和直接访问源站，访问到的内容相同。本文主要介绍CDN节点和源站文件内容如果不一致时，可能的原因及解决方案。 详细内容 从天翼云CDN访问到的文件和直接回源结果如不一样，可从以下几方面着手进行分析： 1.CDN节点回源，会在用户请求基础上增加部分请求头，源站如对相应请求头有处理策略上的差异，可能会导致响应不同内容 用户请求至CDN节点后，CDN节点会在原始请求头基础上增加类似如下的请求头： Via: http/1.1 fjningde5xxx[aff7324a97b346daaf21ba85e1876868] (ApacheTrafficServer/xxx)；该请求头值为请求进入CDN节点后经过的节点信息。 RequestId：9011f7a06787a0fd560cd724dd9989fb；该请求头值为对应请求的唯一ID。 如果源站针对上述请求头有做特殊处理，例如，有Via时可能响应不同的值，则会导致CDN和源站响应不同内容。 解决方案：可尝试通过直接回源请求，并逐个新增携带上述请求头，对比是否与源站获取的内容一致，直到找到造成响应差异的对应请求头。此后，可通过调整源站设置，或在CDN节点配置去掉对应请求头来规避问题。目前，删除CDN内部请求头尚不支持自助，需要提交工单给天翼云客服人工处理。

管理员创建橙讯同步任务 仅将橙讯的用户与组织信息进行同步到AOne，AOne进行认证管理（即密码由AOne管理）。 1. 登录边缘安全加速。 2. 支持在AOne零信任工作台进行操作。 3. 在左侧导航栏身份第三方组织，选择同步身份源菜单。 4. 点击“添加同步任务”，按需选择同步任务，完成任务配置。 1、添加同步任务 进入同步身份源列表，点击“添加同步任务”，进行橙讯同步源添加。 2、选择同步任务 选择“橙讯IAM 同步机构任务”。 3、配置任务 输入配置参数，完成橙讯IAM身份源同步任务配置。 配置参数说明： 参数 说明 AppID 必填。在橙讯管理后台，进入已创建应用的详情页，在"授权信息"界面获取 AppKey 相关信息。 CorpSecret 必填。在橙讯管理后台，进入已创建应用的详情页，在"授权信息"界面获取 CorpSecret 相关信息。 组织ID 必填。在橙讯管理后台，进入已创建应用的详情页，在"授权信息"界面获取 CorpID 相关信息。 同步任务名称 必填。为当前同步任务定义一个名称，便于识别和管理，例如“橙讯IAM正式环境同步”。 同步至AOneID机构 必填。选择平台中已存在的机构节点，同步过来的橙讯IAM组织和用户将放置于此节点下。 同步方式 必填。可选择“手动同步”或“定时同步”。 手动同步 ：任务创建并启用后，需手动点击“执行任务”触发同步。 定时同步 ：需设置具体的“同步时间”与“同步周期”（如每天、每周），任务启用后，系统将自动按照设定的周期执行同步。

本文介绍回源SNI功能的原理和使用说明。 功能介绍 如果一个源站IP地址绑定多个域名，且CDN加速使用HTTPS协议回源时，需通过配置回源SNI的方式，在SNI中指定具体的请求域名，此时源站服务器可以返回该域名对应的SSL证书，以达到多个域名共用源站的目的。 回源SNI原理 SNI（Server Name Indication）是为了解决一个服务器使用多个域名和证书的问题，而对SSL/TLS协议所作的一个扩展。它允许服务器在同一个IP地址和TCP端口下支持多个证书，从而允许多个HTTPS网站使用相同的源站IP和端口。开启回源SNI后，CDN节点向源站发起TLS握手时，源站会根据TLS握手中携带的回源SNI信息来确认CDN节点请求的具体域名，然后返回该域名对应的SSL证书给CDN节点。 设置回源SNI后的工作流程如下： 1. 当CDN节点以HTTPS协议回源时，需要在回源SNI中设置访问的域名。 2. 源站收到请求后，返回SNI中设置的域名对应的SSL证书。 3. CDN节点收到SSL证书后，与源站建立连接。 配置说明 1. 登录CDN控制台。 2. 单击左侧导航栏【域名管理】【域名列表】。 3. 在【域名列表】页面，找到目标域名，单击【操作】列的【编辑】。 4. 单击右侧【回源配置】。 5. 在【回源SNI】模块，开启功能。 6. 配置SNI。 7. 单击【保存】，完成配置。 参数名 说明 SNI 回源SNI域名，只能配置精确域名，不支持泛域名。

本文介绍缓存过期时间设置方法。 功能介绍 缓存过期时间指源站资源在CDN节点缓存的时长，在缓存未过期前，对应资源会直接从CDN节点响应给用户；达到预设缓存过期时间后，资源将会被CDN节点标记为缓存过期。此时如果客户端向CDN节点请求该资源，CDN会携带IfModifiedSince请求头或IfNoneMatch请求头回源站校验内容是否有更新，如有更新则获取最新资源并缓存到CDN节点，如无更新则继续使用原有缓存文件。您可以根据业务需求，按指定路径或文件名后缀等方式配置静态资源的缓存过期时间。 注意事项 1. 您可基于天翼云默认推荐的缓存设置，按需进行调整后，直接使用，当前默认推荐配置如下： 2. 如您删除了上述默认推荐设置，且未添加其他任何设置情况下，全局默认优先遵循源站缓存头，包括Pragma:nocache、CacheControl、Expires响应头；其优先级从高到底分别如下：Pragma:nocache、CacheControl:nocache/private/nostore > CacheControl：maxagen (n≥0)>Expires。如源站无任何上述缓存头设置，则在CDN节点上不缓存。默认忽略参数缓存，若不同参数文件内容不同，需设置为不忽略参数。 3. 如果加速域名下的文件访问热度过低（指同个文件在一段时间内被访问的频次过低），则很可能在过期时间到来之前被其他热度更高的文件覆盖。即：即使某个文件配置的缓存时间较长，如1个月，仍有可能在1个月内重复回源。 4. 天翼云CDN节点的缓存时间，最长可以设置为3年，即1095天。

本节介绍了:云容器引擎发布 Kubernetes 1.23版本说明。 社区 Kubernetes 版本主要变更 Kubernetes 1.23 Changelog 1. FlexVolume弃用，推荐使用 CSI。 2. IPv4/IPv6 双栈网络 GA，使用双栈网路非强制要求。 3. HorizontalPodAutoscaler v2版本 GA，HorizontalPodAutoscaler autoscaling/v2beta2 API已弃用，建议使用 autoscaling/v2。 4. 通用临时卷功能 GA，此功能允许存储驱动程序动态供应临时卷，其生命周期与 Pod一致。 5. 跳过卷所有权变更功能 GA，此功能允许用户在 Pod 挂载存储卷时跳过递归地权限变更，从而加速 Pod 启动 6. PodSecurity 升级到Beta，取代已经弃用的 PodSecurityPolicy。Kubernetes 1.23中 PodSecurity 默认启用 更多信息请参考：Kubernetes 1.23 Changelog Kubernetes 1.22 Changelog 1. Ingress将移除 extensions/v1beta1 和 networking.k8s.io/v1beta1，Ingress影响7层路由转发能力，推荐使用 networking.k8s.io/v1 2. 资源 ValidatingWebhookConfiguration和 MutatingWebhookConfiguration admissionregistration.k8s.io/v1beta1 API将不再支持，继续使用老版本API将影响 Webhook的正常运行，建议使用 admissionregistration.k8s.io/v1 3. 资源 CustomResourceDefinition apiextensions.k8s.io/v1beta1 API将不再支持，继续使用老板本 API创建 CRD，将影响 Controller 的调协，建议使用 apiextensions.k8s.io/v1 4. APIService apiregistration.k8s.io/v1beta1已弃用，APIService影响 APIServer aggregator的路由，推荐更新为 apiregistration.k8s.io/v1 5. Kubernetes 发版节奏从一年4次改为一年3次 更多信息请参考：Kubernetes 1.22 Changelog

防盗链设置 在【实例管理】的页面选择特定的点播实例，点击设置权限可进入该点播实例的【防盗链设置界面】，默认防盗链状态为：关闭。 防盗链设置说明 类型：白名单（只允许Referer列表域名进行访问）、黑名单（不允许Referer列表域名进行访问）。当需要设置防盗链配置时，此选项需要选择其一。 是否允许空Referer：允许、拒绝。当需要设置防盗链配置时，此选项需要选择其一。 Referer列表：填写域名或IP地址，以 。 注意 1. 拒绝空Referer会导致点播部分功能无法正常使用，请谨慎使用！ 2. 当设置了Referer防盗链后，访问存储桶的文件时，相应HTTP请求需要在header头部的Referer字段添加相应的防盗链信息，否则访问请求会被拒绝。 3. 以上Referer配置，仅针对云点播的三个存储桶有效。 4. 如用户在使用云点播服务时同时叠加了CDN加速服务，请务必确认CDN的回源请求符合云点播侧的防盗链要求，否则相应的回源请求可能被拒绝。 跨域访问CORS配置 云点播默认全部自带存储桶的跨域访问CORS设置为： 配置 可用值 AllowedMethod GET PUT HEAD AllowedOrigin AllowedHeader 如有其他跨域配置需求，可发送工单联系产品后台处理。 注意 1. 如您在集成播放平台时，遇到跨域问题，请先确认CDN服务商（如有）是否将HTTP头部的Origin字段携带透传回云点播存储桶。 2. 部分场景下，浏览器可能会将其他错误报为跨域问题，请开发者认真甄别。

本节介绍了为业务同时部署DDoS高防（边缘云版）和Web应用防火墙（边缘云版）的操作步骤。 使用场景 如果您的网站既需要进行流量型DDoS攻击的防护，同时也需要对精巧的Web应用层攻击时进行防御。使用单一的防护产品可能无法起到全面的防护效果，您可以在Web应用防火墙（边缘云版）的基础上，叠加DDoS高防（边缘云版）进行联合防御。 配置前提 已分别开通DDoS高防（边缘云版）及Web应用防火墙（边缘云版）。 网站域名需完成ICP备案，并需要持续维护其有效性。 说明 若您抗DDoS攻击的重要性显著高于加速需求，请先在DDoS高防（边缘云版）控制台新增域名，再到Web应用防火墙（边缘云版）新增域名，该添加顺序会优先使用天翼云高防DDoS节点进行域名防护。 业务流程 由于DDoS高防（边缘云版）及Web应用防火墙（边缘云版）采用统一的边缘云网络架构和底座，无需重复进行网站接入配置，并且也无需考虑不同产品串联时网络层转发的顺序问题，需注意防护配置的生效顺序：DDoS高防（边缘云版）优先于Web应用防火墙（边缘云版）。 （非统一架构的产品叠加，需确定不同产品之间网络层转发顺序，如先经过DDoS高防再经过Web应用防火墙，那么DDoS的高防的回源地址需与Web应用防火墙的接入地址相匹配，而不能直接配置为源站地址。非统一架构的产品叠加会增加网络配置复杂度。）

测试环境配置 测试脚本下载 LLMPerf由 Ray 项目团队开发，在github上开源，可直接下载。 plaintext git clone 工具核心功能： 性能评估 负载测试：LLMPerf可以对大语言模型（如Llama 2、GPT3等）的吞吐量和延迟性能进行测量。它通过负载测试来评估模型在不同负载下的响应延迟和生成吞吐量，帮助用户了解模型在实际应用中的性能表现。 准确性测试：该工具还可以进行正确性测试，衡量模型输出的准确性，确保模型在生成内容时能够保持较高的质量。 参数化测试 LLMPerf允许用户更改输入和输出大小等参数，以匹配不同的应用场景。这意味着用户可以根据自己的具体需求和工作负载，灵活地调整测试参数，从而获得更具针对性的性能评估结果。 结果分析 LLMPerf能够提供详细的性能指标分析，包括响应时间、吞吐量、准确性等，帮助用户深入了解模型的性能特点。 兼容性 LLMPerf支持主流的大语言模型，如OpenAI、Anthropic、TogetherAI等。这使得用户可以在一个统一的框架下对不同来源的模型进行性能比较和评估。 安装测试工具 plaintext git clone cd llmperf pip install e . 如下载速度较慢可以使用国内源进行加速 pip install e . i 配置环境变量 根据不同的API服务，需要设置不同的密钥信息和服务地址。例如对于OpenAi（vLLM类推理框架）： plaintext export OPENAIAPIKEY"your apikey" export OPENAIAPIBASE" 3.

当前视频直播可订购的资源包仅包括流量包，本文简述流量包的查看方法。 前置须知 已开通视频直播按需服务，详情请参见：开通视频直播服务。 已订购视频直播流量包，详情请参见：资源包订购。 流量包价格请参见：资源包介绍。 操作指引 1. 登录直播控制台。 2. 在左侧导航栏，单击【计费详情】，可以在页面下方查看资源包详情。 3. 如果想要购买资源包，可以单击【订购视频直播资源包】，进入订购链接进行购买。 4. 如果想要退订有效期内的资源包，单击对应资源包操作栏中的【退订】，进入退订页面进行退订操作。 注意事项 1. 购买流量包之前，需先开通视频直播按需流量计费。 2. 购买流量包成功后即时生效，流量包的优先级高于按需流量计费，即优先抵扣流量包的用量，有效期为一年。 3. 购买多个流量包时，当某个流量包用尽后默认自动开启下一个优先到期的流量包；当所有流量包用量用尽或者有效期到期后，自动转为同加速类型的按需流量计费。 4. 资源包用量未用尽或者有效期未到期，均可按照天翼云的退订规则完成退订操作，但仅支持在购买时长≤7天且未进行任何使用的情况下申请退款，除此之外均不符合退款条件，不予以退款。

本页介绍天翼云TeleDB数据库使用索引提高查询效率的最佳实践。 通过explain查看执行计划，查看SQL语句是否使用到了索引，Seq Scan表示对表进行了全表扫描，而如Index Scan，Index Only Scan则表示使用了索引扫描。 通常情况下，使用索引可以加速查询速度，但索引也会增加数据更新的开销，在数据量较小时，优化器也可能会使用全表扫描代替索引扫描。 例如，下面的SQL语句，使用了Parallel Seq Scan并行全表扫描。 teledb explain select from teledb2 where f3'1'; QUERY PLAN Remote Fast Query Execution (cost0.00..0.00 rows0 width0) Node/s: dn001, dn002 > Gather (cost1000.00..7827.20 rows1 width14) Workers Planned: 2 > Parallel Seq Scan on teledb2 (cost0.00..6827.10 rows1 width14) Filter: (f3 '1'::text) (6 rows) 在f2字段上创建索引后，下面的SQL语句，使用了Index Scan索引扫描。 teledb create index teledb2f2idx on teledb2(f2); CREATE INDEX postgres explain select from teledb2 where f21; QUERY PLAN Remote Fast Query Execution (cost0.00..0.00 rows0 width0) Node/s: dn001, dn002 > Index Scan using teledb2f2idx on teledb2 (cost0.42..4.44 rows1 width14) Index Cond: (f2 1) (4 rows) 当然，按SQL优化原则，上述SQL语句where条件都没有带分布键，导致SQL下发到了所有DN节点，建议尝试优化为带分布键查询。

本章节主要介绍媒体存储特殊计费场景。 通过天翼云CDN访问媒体存储 将媒体存储作为天翼云CDN加速的源站，在使用过程中，费用将由媒体存储和天翼云CDN分别收取。 使用过程中的流量示意图如下： 各计费项说明如下表： 费用收取方 计费项 计费说明 媒体存储 CDN回源流量 数据从媒体存储传输到天翼云CDN所产生的回源流量。 温馨提示：如您使用天翼云CDN，需要在源站配置中，选择【媒体存储源站】，此配置下产生的回源流量会按照CDN回源流量进行计费。如您选择【IP或域名】，产生的回源流量将按照公网下行流量计费。 天翼云CDN CDN流量/带宽 用户访问天翼云CDN节点而产生的流出流量或带宽，具体计费可参考CDN计费概述。 存储桶复制 如用户使用存储桶复制功能，将产生存储容量、流入流量等计费用量，具体说明如下表： 产生用量类别 详细说明 公网上传流量 数据从源桶向目的桶复制数据，会产生公网上行流量。目前公网上行流量免费。 请求次数 服务进行复制的过程中，会产生上传对象的请求，在按需计费模式下，这部分请求会按照次数计算费用，具体参考计费项。 存储费用 数据复制后，会在目的桶产生存储空间，因此会产生存储空间费用。存储空间计费可参考计费项。

物料准备 1.模型文件获取 方式一：（极速）使用cthpc一键安装工具，分钟级快速下发模型，当前支持： shell mkdir p /mnt/nvme1n1/model 使用 cthpc 工具极速下发 cthpc model makecache cthpc model install DeepSeekV4Flashw8a8mtp dir /mnt/nvme1n1/model/ 方式二：（传统方式速度慢）基于modelscope、魔乐社区、huggingface平台，使用对应工具直接下载（不推荐，受限于公网EIP订阅的带宽大小） shell mkdir p /mnt/nvme1n1/model modelscope下载依赖python3.8+的环境，若缺失，则需要构建虚拟环境 pip install upgrade pip i pip install modelscope modelscope download model EcoTech/DeepSeekV4Flashw8a8mtp localdir /mnt/nvme1n1/model/DeepSeekV4Flashw8a8mtp 2.高性能容器SIF文件获取 基于Apptainer（原 Singularity） 封装的 vLLMAscend 昇腾推理加速包，高性能计算集群产品将持续迭代优化，原生适配昇腾 NPU 硬件、无权限壁垒、极致轻量化、生产级稳定，全面超越传统 Docker 容器，是昇腾 AI 推理场景的最优融合选择。 方式一：（极速）使用cthpc一键安装工具，秒级快速下发apptainer高性能容器灌装，当前支持： shell mkdir p /mnt/nvme0n1/apptainer 使用 cthpc 工具极速下发 cthpc apptainer makecache cthpc apptainer install vllmascenddeepseekv4 dir /mnt/nvme0n1/apptainer/ 方式二：（传统方式速度慢）通过天翼云zos站点直接下载（不推荐，受限于公网EIP订阅的带宽大小） shell mkdir p /mnt/nvme0n1/apptainer 使用 wget 从 天翼云ZOS 下载 SIF 镜像 wget

本节先简要介绍了天翼云GPU云主机模型推理性能总览 GPU云主机能够提供优秀的浮点计算能力，可以实现端到端推理加速，减少推理延迟，从而提高模型的实时性和响应速度。本文基于DeepSeek模型实测数据，对比分析天翼云多款主流GPU云主机的推理性能表现。 下面的表格展示了以C8E类型的32c128g规格的云主机作为基线，模型使用DeepSeekR1DistillQwen7B，以及C8E类型的128c512g规格的云主机作为基线，模型使用DeepSeekR1DistillQwen32B，天翼云多款主流GPU云主机的推理时延降低率和吞吐量提升率（值越大表示性能越好）。 模型 云主机类型 显卡类型 时延降低率 吞吐量提升率 DeepSeekR1DistillQwen7B pn8i.4xlarge.8 1L20 88% 800% DeepSeekR1DistillQwen7B p8a.6xlarge.4 1A100 85% 857% DeepSeekR1DistillQwen7B pi7.4xlarge.4 1A10 72% 467% DeepSeekR1DistillQwen7B p2vs.2xlarge.4 1V100s 82% 597% DeepSeekR1DistillQwen7B p2v.2xlarge.4 1V100 81% 617% DeepSeekR1DistillQwen7B pi2.4xlarge.4 2T4 73% 399% DeepSeekR1DistillQwen32B pn8i.8xlarge.8 4L20 92% 1550% DeepSeekR1DistillQwen32B p8a.24xlarge.4 4A100 87% 1497% DeepSeekR1DistillQwen32B pi7.16xlarge.4 4A10 81% 821% DeepSeekR1DistillQwen32B p2vs.8xlarge.4 4V100s 83% 834% DeepSeekR1DistillQwen32B p2v.8xlarge.4 4V100 82% 859% 注意 pn8i相关规格的产品将于2025年4月30日上线。

1.模型文件获取 方式一：（极速）使用cthpc一键安装工具，分钟级快速下发模型，当前支持： shell mkdir p /mnt/nvme1n1/model 使用 cthpc 工具极速下发 cthpc model makecache cthpc model install DeepSeekV4Prow4a8mtp dir /mnt/nvme1n1/model/ 方式二：（传统方式速度慢）基于modelscope、魔乐社区、huggingface平台，使用对应工具直接下载（不推荐，受限于公网EIP订阅的带宽大小） shell mkdir p /mnt/nvme1n1/model modelscope下载依赖python3.8+的环境，若缺失，则需要构建虚拟环境 pip install upgrade pip i pip install modelscope modelscope download model EcoTech/DeepSeekV4Prow4a8mtp localdir /mnt/nvme1n1/model/DeepSeekV4Prow4a8mtp 2.高性能容器SIF文件获取 基于Apptainer（原 Singularity） 封装的 vLLMAscend 昇腾推理加速包，高性能计算集群产品将持续迭代优化，原生适配昇腾 NPU 硬件、无权限壁垒、极致轻量化、生产级稳定，全面超越传统 Docker 容器，是昇腾 AI 推理场景的最优融合选择。 方式一：（极速）使用cthpc一键安装工具，秒级快速下发Apptainer高性能容器灌装，当前支持： shell mkdir p /mnt/nvme0n1/apptainer 使用 cthpc 工具极速下发 cthpc apptainer makecache cthpc apptainer install vllmascenddeepseekv4 dir /mnt/nvme0n1/apptainer/ 方式二：（传统方式速度慢）通过天翼云zos站点直接下载（不推荐，受限于公网EIP订阅的带宽大小） shell mkdir p /mnt/nvme0n1/apptainer 使用 wget 从 天翼云ZOS 下载 SIF 镜像 wget

SnapCheckpoint(Snapckpt)是由息壤训推智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt加速包 SnapCheckpoint（Snapckpt）是由息壤一体化智算服务平台 训推智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt介绍 Snapckpt是一种为大模型训练打造的易用、可拓展、高性能的断点解决方案。Snapckpt提供了高效便捷的断点存储、加载机制，其主要有以下几大优势： 1. 异步断点保存：通过优化断点保存流程，使得断点保存过程异步化，尽可能减小断点保存过程对于训练的中断，减少训练阶段耗时。 2. 分布式断点存储：对模型机优化器参数进行分布式存储，避免集中式存储带来的额外通信开销，大幅降低存储与加载断点的耗时。 3. 多框架支持：支持MegatronLM、Deepspeed两大主流大模型训练框架。 4. 简单易用：安装及使用方式简单，用户仅需简单步骤即可使用，提升使用效率。 背景信息 在大规模分布式模型训练过程中，系统可能因硬件故障或软件异常导致训练中断。为确保训练进度可恢复，业界普遍采用周期性保存检查点(Checkpoint)的方案。值得注意的是，检查点操作耗时与模型参数量呈正相关关系，当面对参数量达百亿甚至千亿级别的大模型时，每次检查点保存往往需要耗费数分钟至十余分钟不等。特别是在使用MegatronLM框架或原生PyTorch进行训练时，检查点保存过程会强制暂停训练任务，导致宝贵的计算资源被闲置。因此，开发高效的检查点机制以降低时间成本和资源浪费，已成为当前大规模模型训练亟待解决的关键问题。 Snapckpt采用多阶段异步断点存储机制，降低断点存储耗时，减少训练中断带来的影响，从而提升训练速度，提升计算资源有效利用率。

本文主要介绍使用零信任和终端管理时发现异常行为的终端处置记录功能。 背景说明 处置记录展示企业配置的零信任策略规则和终端管理合规检测的实时处置记录，以便于企业对异常登录、访问等行为的观察和处置。 操作步骤 1. 登录边缘安全加速控制台，进入对应服务； 2. 在左侧导航栏，选择日志>策略处置记录，可查看处置事件或进行取消处置操作； 3. 可根据业务需求进行相关操作。 功能说明 处置记录事件数据集来源于AOne零信任>安全>动态授权、AOne终端管理>安全>终端安全>合规检测。 将统计整体处置概览情况，包括处置动作分布情况，命中策略和处置对象统计。 字段 说明 备注 监控（观察） 若触发策略，则记录处置记录，并将该用户的内网访问行为记录到威胁防护日志 挑战认证 若触发策略，则不允许访问内网，触发挑战认证弹窗，用户需短信验证码校验通过后才允许继续访问内网，并将该用户的内网访问行为记录到威胁防护日志 访问阻断 若触发策略，处置周期内不允许访问内网，直到恢复处置时，才允许继续访问，在恢复处置前，将该用户的内网访问行为记录到威胁防护日志 注销登录 若触发策略，将对已经登录客户端用户进行注销登录，登出处理，用户再次登录后，待不再匹配到策略才会放行登录，否则会再次注销登录处理 处置中记录：根据企业在在不同模块配置的策略，若检测到匹配策略的行为，则触发处置动作，并在处置中记录该事件。 对于支持周期性检测，能够自动恢复处置的策略，若用户在新的检测周期已经不再匹配到规则，则该处置中记录将移动到已恢复记录。

本文介绍如何使用告警自助功能。 功能背景 AOne告警自助功能让企业自主地、灵活地配置对核心系统指标的实时监控，直观掌握连接器与应用的健康状况，自定义敏感的告警阈值，精准通知到相关负责人，实现秒级感知异常，最终驱动团队快速响应与处置，有效保障业务的高可用性和稳定性。 操作步骤 1.登录边缘安全加速平台控制台。 2.在左侧导航栏AOne零信任设置告警设置，查看相应的配置和管理。 3.可根据业务需求进行相关配置。 功能说明 说明 配置完告警后，除已配置的联系方式会接收到告警外，您可从控制台待办事项查看对应的通知。 连接器异常 字段 说明 备注 事件类型 支持多种事件类型：连接器隧道状态异常、连接器中心连通异常、连接器CPU使用率异常、连接器内存使用率异常。 告警阈值 可根据不同事件类型，设置对应的告警阈值。 接收告警时间 仅在接收时间内进行告警，若告警发生时，不在接收时间，告警可能会遗漏通知。 告警开关 默认关闭，请对有需要关注的告警事件类型进行开启。开启后，请配置告警通知人等信息。关闭时则不会进行告警通知和监控。 告警方式 可选短信或者邮箱进行告警，通过短信告警的方式，当前暂不占用您企业零信任短信额度数量，若后续涉及短信额度抵扣，将进行通知。 一个事件类型，最多支持设置5个手机号和5个邮箱地址作为告警通知联系方式。 可选择系统内通知人以及自定义系统外通知人。若选择系统内通知人后，只保存当下该通知人的联系方式，若该系统内通知人联系方式变更，请重新编辑修改。

本文介绍制作物理机私有镜像的软件环境，需要准备一台x86的Linux系统（带可视化界面）的设备，建议使用Ubuntu 22.04。本文以Ubuntu 22.04系统为例，介绍搭建环境的过程。 1. 配置软件源（可选） 这里配置使用天翼云软件源。这一步可选，如果选择使用其他软件源，可跳过这一步。 检查网络是否畅通，执行： plaintext ping mirrors.ctyun.cn 检查Ubuntu 22.04的镜像源是否配置正常 plaintext 查看apt镜像源配置 cat /etc/apt/sources.list 更新软件索引 sudo apt update 使用天翼云镜像源加速软件下载和环境部署过程，可参考 plaintext 使用天翼云镜像站的Ubuntu 22.04的apt镜像源 sudo cat >> /etc/apt/sources.list << 'EOF' deb jammy main restricted universe multiverse debsrc jammy main restricted universe multiverse deb jammysecurity main restricted universe multiverse debsrc jammysecurity main restricted universe multiverse deb jammyupdates main restricted universe multiverse debsrc jammyupdates main restricted universe multiverse deb jammyproposed main restricted universe multiverse debsrc jammyproposed main restricted universe multiverse deb jammybackports main restricted universe multiverse debsrc jammybackports main restricted universe multiverse EOF 更新软件索引 sudo apt update

GPU云主机如何安装NVIDIA驱动？ NVIDIA GPU云主机需要安装驱动后才可以正常使用，天翼云GPU云主机支持安装以下两种NVIDIA驱动： GPU驱动：用于驱动物理GPU，也称Tesla 驱动。 GRID驱动：用于获得图形加速能力。 具体操作步骤您可参见NVIDIA驱动安装指引。 Windows弹性云主机如何删除多余的网络连接？ 要删除 Windows 弹性云主机中的多余网络连接，您可以尝试以下两种方法。请注意，对注册表进行更改可能会影响系统稳定性，因此在进行操作之前请务必备份注册表或谨慎操作。 方法一 1. 按下Win+R键，在运行对话框中输入 "regedit" 并按回车键，以打开注册表编辑器。 2. 导航到以下注册表路径： HKEYLOCALMACHINESOFTWAREMicrosoftWindows NTCurrentVersionNetworkListProfiles 3. 在 "Profiles" 键下，您将看到多个子项，每个子项的名称可能是由数字和字母组成的序列。依次单击每个子项，检查右侧窗口中名为 "ProfileName" 的键值对应的 "数据" 列。 4. 双击 "ProfileName" 键，将 "数值数据" 修改为您想要更改的网络名称。 5. 重启云主机，使更改生效。 方法二 1. 按下Win+R键，在运行对话框中输入 "regedit" 并按回车键，以打开注册表编辑器。 2. 导航到以下注册表路径之一： HKEYLOCALMACHINESOFTWAREMicrosoftWindows NTCurrentVersionNetworkListProfilesHKEYLOCALMACHINESOFTWAREMicrosoftWindows NTCurrentVersionNetworkListSignaturesUnmanaged 3. 删除 "Unmanaged" 键下的目录，以清除多余的网络连接信息。 Linux弹性云主机启动缓慢怎么办？ 要解决弹性云主机启动缓慢的问题，您可以尝试通过修改启动等待时间来提高启动速度。

性能相关 规范 在使用文档数据库服务时，为了提高数据库系统的性能和效率，需要遵守一些性能相关规范和最佳实践。以下是一些常见的文档数据库服务性能相关规范： 合适的索引设计：正确的索引设计可以提高文档数据库服务的查询性能和效率，可以根据应用程序的查询需求来选择适当的索引类型和字段。 使用合适的数据模型：文档数据库服务是一种文档型数据库，可以使用嵌入式文档或引用式文档来存储数据。使用合适的数据模型可以提高查询效率和数据访问的速度。 避免全表扫描：文档数据库服务在执行查询时，应该避免全表扫描，尽量使用索引来加速查询。可以使用explain命令来分析查询的性能和索引的使用情况。 分布式扩展：文档数据库服务支持分布式扩展，可以使用分片技术将数据分散到多个文档数据库服务实例中，提高系统的吞吐量和性能。 使用合适的数据类型：文档数据库服务支持多种数据类型，应该根据应用程序的需求来选择合适的数据类型。例如，可以使用二进制数据类型来存储大型文件，使用数组来存储具有相同属性的数据。 使用合适的查询语句：在查询文档数据库服务数据库时，应该使用合适的查询语句和操作符，避免使用不必要的查询条件和操作符，以提高查询效率和性能。 开发过程中对集合的每一个操作都要通过执行explain()检查其执行计划，如： db.students.find({age: 20}, {name: 1, id: 0}).explain(); 合理的系统配置：为了提高文档数据库服务的性能和效率，应该合理配置文档数据库服务的系统参数和资源限制，例如内存、磁盘和CPU等。

本文带您了解AI Store四大类服务的应用场景。 算力服务 智能算力 聚焦人工智能、大模型训练、科研仿真等“高并发、高浮点、高宽带”的需求，提供GPU/TPU/NPU等异构加速资源，助力AI创新从“可用”走向“好用”。 主要面向客户：大模型预训练、AIGC、多模态理解等AI企业与算法公司，高校与科研院所，自动驾驶团队以及医疗影像AI厂商等客户。 通用算力 面向Web服务、ERP、数据库、开发测试、办公协同等常规业务，以“按需付费、秒级开通”模式提供高性价比的基础算力。 主要面向客户：中小企业、初创团队、政府及事业单位（如一网通办、公共数据平台、政务云开发测试环境）等客户。 模型服务 模型推理 提供高性能的模型调用服务，可以通过标准的API接口将平台提供的大模型服务集成到自己的业务系统中，提供模型推理一站式部署服务。 主要面向用户：各种软件开发商，特别是行业软件开发商，以及科研院所、大专院校和教育机构、政府、金融机构、工业企业、科技单位、医院等行业客户。 模型应用 大模型与插件工具的结合能够有效拓展其在复杂任务中的实用性，支持接入私有知识库增强领域应答，集成联网搜索获取实时信息。 主要面向用户：需要组合模型和工具提供智能办公、智能客服、智能运维能力以及业务主要为知识密集型场景和特定内容生成的企业。 AI应用服务 搭建专属的智能体应用：基于应用广场筛选快速定位所需行业应用，一键部署，简化传统应用安装与配置的复杂流程。实现应用部署、运维和治理的全生命周期管理能力。 主要面向客户：需要快速集成AI能力形成垂直SaaS服务的行业服务集成商，电商/新媒体运营团队，初创公司与个人开发者等客户。

](.Port )./ 1$2222/g" /etc/ssh/sshconfig && sed i "s/ (StrictModes )./1no/g" /etc/ssh/sshdconfig && sed i "s/ (Port )./1$2222/g" /etc/ssh/sshdconfig echo "Port 2222" >> /home/batchcom/.sshdconfig 配置免密 sshkeygen t rsa N '' f /home/batchcom/.ssh/idrsa cat ~/.ssh/idrsa.pub >> ~/.ssh/authorizedkeys 用于解析多实例hostname的IP地址 sudo apt install y dnsutils MPI框架+IB网络 在使用 MPI 进行多机多卡并行计算时，建议优先采用 InfiniBand（IB）网络以提升多机协同的加速比。尤其对于涉及大量跨节点数据交换的任务，若未使用 IB 网络，其通信瓶颈可能导致多机集群的性能反而不及单机，无法充分发挥并行计算的优势。 MPI（如 OpenMPI、MPICH 等实现）支持 IB 网络的方式多样，以下以 UCX 作为通信后端为例，说明相关依赖的安装步骤： python 安装IBverbs相关依赖（提供IB硬件访问支持） sudo apt update && sudo apt install y ibverbsproviders libibumad3 libibverbs1 libnl3200 libnlroute3200 librdmacm1 安装UCX（高性能通信框架，适配IB与MPI） wget && sudo dpkg i ucx1.18.1rc3.deb 注意：以上仅为 MPI 基于 UCX+IB 的依赖安装流程，需确保 MPI 本身已编译并集成 UCX 和 OpenIB 模块（例如 OpenMPI 可通过以下命令检查）： python ompiinfo grep ucx ompiinfo grep openib 若返回空内容，说明未编译相关模块，需重新编译MPI并启用对应功能 此外，也可直接使用研助手预置的 OpenMPI+UCX+IB 网络运行环境镜像，简化配置流程: python ehub.ctcdn.cn/esxbatchcom/openmpiib:v1

本文介绍了如何在科研助手中使用Open WebUI对LLM模型推理。 概述： Open WebUI 是一个可扩展、功能丰富且用户友好的自托管 WebUI，旨在完全离线运行。它支持各种 LLM 运行程序，包括 Ollama 和 OpenAI 兼容的 API。 准备环境： 1.【开发机】创建开发机 1. 填入名称“openwebui”选择队列及可用区 2. 【资源配置】 【GPU加速型】在单选框中选择“NVIDIA A100” （规格根据实际情况修改 GPU类型可选择A10 A100 3060 3080） 3. 框架版本选择【社区镜像】的“vncopenwebuicuda11.3” 2.点击【确认订单】 启动开发机并登录VNC： 1. 【开发机】刷新状态，等待openwebui开发机状态进入到【运行中】状态后点击右侧操作栏【打开】。 2. 点击【打开】跳转到vnc开发机，成功进入到远程桌面中。 3. 启动Open WebUI，准备模型： 1. 点击桌面上【OI】图标，等待弹窗浏览器（第一次启动时间较长） 2. 在窗口点击【注册】输入用户名，邮箱，和密码 （信息保存在VNC开发机中，重启后需要重新注册） 3. 在窗口点击【登录】输入用户名，密码，进入对话界面 4. 在【选择一个模型】下拉框输入模型，如【llama:8b】,选择【从 Ollama.com 拉取“llama3:8b”】

危害网络安全类内容 包括但不限于以下违规内容的信息： 利用系统漏洞、捆绑软件、网页挂马、电子邮件、即时聊天工具等途径传播病毒、木马、钓鱼信息等有害程序，可能对用户的正常运行造成损害或中断； 利用网络技术手段或者分享网络技术手段对计算机系统、网络或设备进行破坏、干扰、窃取等违法犯罪行为，包含黑客攻击技术、黑客工具、违规跨境加速或传输服务/软件/教程、违规提供 DNS 解析服务、开展虚拟币“挖矿等违法违规活动。 相关法律法规参考：《中华人民共和国网络安全法》、《计算机信息网络国际互联网安全保护管理办法》、《中国公用计算机互联网国际联网管理办法》、《国际通信出入口局管理办法》、《中华人民共和国刑法》、《关于办理扰乱无线电通讯管理秩序等刑事案件适用法律若干问题的解释》、《中华人民共和国治安管理处罚法》、《关于依法办理非法生产销售使用“伪基站”设备案件的意见》。 违法活动及违禁化学品类 包括但不限于以下违规内容的信息： 发布网络雇凶、网络雇佣追债等违法事件行为。 发布拐卖妇女、儿童、买卖人体器官、提供赴港代孕中介服务、亲子鉴定服务、胎儿鉴定服务等。 发布国家禁止出售的化学品的交易信息，包括但不限于毒品、剧毒化学品、禁止出售的危险化学品、精神类等）。 发布或者存储国家禁止出售的违禁商品/器具类及其相关教程、书籍的交易信息，包括但不限于易燃易爆品、军警服装、管制刀具等）。 相关法律法规参考：《中华人民共和国刑法》、《易制毒化学品管理条例》、《中华人民共和国药品管理法》、《中华人民共和国药品管理法实施条例》、《中华人民共和国禁毒法》、《反兴奋剂条例》、《药品注册管理办法》、《放射性药品管理办法》、《中药品种保护条例》、《麻醉药品和精神药品管理条例》、《互联网药品信息服务管理办法》、《危险品管理条例》等相关法律法规的规定。

本文简述对直播流进行查看以及禁播解禁等操作方案。 功能介绍 您可以在客户直播控制台查看在线推流和历史推流信息，同时可以对实时在线推流进行禁推和解禁以及断流等操作。 当客户监控发现某主播推送非法内容，可通过禁推功能实时中止或封禁该直播，封禁时长支持自定义。封禁列表中的流，封禁周期内将无法推流至视频直播加速节点。 同时，视频直播支持对直播流进行断流操作。直播断流是指您通过自助操作断开正在推的直播流，但主播如果用相同流名再次推流时可以推流成功。 注意事项 自助操作禁推前，需提交工单联系天翼云客服开启针对域名的禁推开关。 只有正在进行推流的直播流才可被禁用。 执行禁推操作后，用户无法观看对应的直播流。 禁推场景下，默认支持禁推时长为2小时；最长支持配置禁推时长为14天。 查看推流信息 1. 登录直播控制台。 2. 单击左侧导航栏中的【流管理】。 3. 选择【在线流】、【历史流】或者【禁播流】，可查看实时在线推流或者历史推流信息以及在禁播中的流信息。 禁止直播推流 1. 登录直播控制台。 2. 单击左侧导航栏中的【流管理】。 3. 选择【在线流】，查看实时在线推流。 4. 可对实时在线流执行禁推，禁推后用户无法观看该直播流。

SnapCheckpoint(Snapckpt)是由息壤一体化智算服务平台 一站式智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt加速包 SnapCheckpoint（Snapckpt）是由息壤一体化智算服务平台 一站式智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt介绍 Snapckpt是一种为大模型训练打造的易用、可拓展、高性能的断点解决方案。Snapckpt提供了高效便捷的断点存储、加载机制，其主要有以下几大优势： 1. 异步断点保存：通过优化断点保存流程，使得断点保存过程异步化，尽可能减小断点保存过程对于训练的中断，减少训练阶段耗时。 2. 分布式断点存储：对模型机优化器参数进行分布式存储，避免集中式存储带来的额外通信开销，大幅降低存储与加载断点的耗时。 3. 多框架支持：支持MegatronLM、Deepspeed两大主流大模型训练框架。 4. 简单易用：安装及使用方式简单，用户仅需简单步骤即可使用，提升使用效率。 背景信息 在大规模分布式模型训练过程中，系统可能因硬件故障或软件异常导致训练中断。为确保训练进度可恢复，业界普遍采用周期性保存检查点(Checkpoint)的方案。值得注意的是，检查点操作耗时与模型参数量呈正相关关系，当面对参数量达百亿甚至千亿级别的大模型时，每次检查点保存往往需要耗费数分钟至十余分钟不等。特别是在使用MegatronLM框架或原生PyTorch进行训练时，检查点保存过程会强制暂停训练任务，导致宝贵的计算资源被闲置。因此，开发高效的检查点机制以降低时间成本和资源浪费，已成为当前大规模模型训练亟待解决的关键问题。 Snapckpt采用多阶段异步断点存储机制，降低断点存储耗时，减少训练中断带来的影响，从而提升训练速度，提升计算资源有效利用率。

本文介绍CDN缓存key携带问号后参数导致缓存命中率低的问题的解决方案。 背景说明 CDN缓存key是文件存储在CDN节点上的唯一ID，CDN将以此为标识来缓存不同文件。如果用户请求某个文件时，都会携带问号后参数，如 解决方案 如果不同URL问号后参数仅值不同，对应的文件内容实际一样时，需要开启去问号缓存。即：如果用户A和用户B分别请求 此外，如果用户请求的URL中存在多个问号后参数，如

组合优势 缓存自动卸载：显存减负与数据流转的核心枢纽 HPKV 系统构建了 GPU HBM → Host DRAM → Local NVMe SSD 或 Remote Storage/HPFS 的多级存储体系，通过跨请求的 KV Cache 深度复用，践行“以存代算”理念，有效消除推理服务中的冗余计算开销，显著降低首Token延迟（TTFT）并提升吞吐量，同时降低算力成本。通过智能沉降与基于热度、存储时长、容量的多策略驱逐机制，在各级存储间自动流转数据，精准淘汰冷数据，实现效率与成本的最优平衡。 智能数据预取：掩盖 I/O 延迟的启动加速核心 在推理任务排队等待阶段，通过与全局调度器的深度联动实现智能预取。系统提前将目标 KV Cache 从 SSD/HPFS 异步预取至 Host 内存和 GPU HBM，确保任务启动时数据“即取即用”，有效掩盖 I/O 延迟，将任务启动等待时间缩减 50% 以上，极大提升用户体验。 分布式存储层：容量与性能的弹性基石 深度集成高性能分布式文件系统 HPFS，将 KV Cache 存储容量从 GB 级显存无缝扩展至 PB 级，实现存储资源的独立弹性伸缩。其通过全链路 RDMA 与 IB/RoCE 高速网络协议，提供千万级 IOPS 与 TBps 级吞吐，同时保证亚毫秒级延迟，使海量历史上下文不仅能“存得下”，更能“取得快”。在多轮对话与高并发场景中，该架构以极速 I/O 替代 GPU重复计算，在充分释放昂贵 HBM 资源的同时，保障了推理服务的超低延迟响应，最终达成了存算效率与成本的最佳平衡。 生态兼容：多框架多硬件的广泛兼容 适配天翼云自研 CTyunOS 系列及主流 Linux 操作系统，广泛兼容多款国产化AI算力硬件。无缝对接 vLLM、SGLang 等主流开源大模型推理引擎，全面支持张量并行（TP）、流水线并行（PP）、数据并行（DP）、PD 分离等主流分布式策略及多种注意力机制的模型，灵活适配并支撑多样化的模型架构演进。