参数 类型 是否必传 名称 描述 starttime int 是 开始时间戳 起始时间，时间戳(秒)。 endtime int 是 结束时间戳 结束时间，时间戳(秒)。 interval string 否 时间粒度 时间粒度，目前支持1m，5m，1h和24h，默认5m。 producttype List<string> 否 产品类型 “007”(安全加速) domain list<string> 否 域名列表 域名，不传默认名下所有域名，可多个域名，作为统计筛选项。 province list<int> 否 省编码列表 省编码，不传默认所有省份，可多个省编码，作为统计筛选项， isp list<string> 否 运营商编码列表 运营商编码，不传默认所有运营商，可多个运营商编码，作为统计筛选项， networklayerprotocol string 否 网络层协议 网络层协议，不传默认所有网络层协议，支持作为统计筛选项，可以为ipv4、ipv6，other。 applicationlayerprotocol string 否 应用层协议 应用层协议，不传默认所有络层协议，支持作为统计筛选项，可以为http，https，rtmp，quic，other。 groupby list<string> 否 结果聚合维度 指标在计算结果的聚合维度，不传或为空默认按照时间粒度聚合，可多个统计维度，可以为producttype，domain，province，isp，networklayerprotocol，applicationlayerprotocol。

参数 类型 是否必传 名称 描述 starttime int 是 开始时间戳 起始时间，时间戳(秒)。 endtime int 是 结束时间戳 结束时间，时间戳(秒)。 interval string 否 时间粒度 时间粒度，目前支持1m，5m，1h和24h，默认5m。 producttype List<string> 否 产品类型 “007”(安全加速) domain list<string> 否 域名列表 域名，不传默认名下所有域名，可多个域名，作为统计筛选项。 province list<int> 否 省编码列表 省编码，不传默认所有省份，可多个省编码，作为统计筛选项， isp list<string> 否 运营商编码列表 运营商编码，不传默认所有运营商，可多个运营商编码，作为统计筛选项， networklayerprotocol string 否 网络层协议 网络层协议，不传默认所有网络层协议，支持作为统计筛选项，可以为ipv4、ipv6，other。 applicationlayerprotocol string 否 应用层协议 应用层协议，不传默认所有络层协议，支持作为统计筛选项，可以为http，https，rtmp，quic，other。 groupby list<string> 否 结果聚合维度 指标在计算结果的聚合维度，不传或为空默认按照时间粒度聚合，可多个统计维度，可以为producttype，domain，province，isp，networklayerprotocol，applicationlayerprotocol。

本文介绍制作物理机私有镜像的软件环境，需要准备一台x86的Linux系统（带可视化界面）的设备，建议使用Ubuntu 22.04。本文以Ubuntu 22.04系统为例，介绍搭建环境的过程。 1. 配置软件源（可选） 这里配置使用天翼云软件源。这一步可选，如果选择使用其他软件源，可跳过这一步。 检查网络是否畅通，执行： plaintext ping mirrors.ctyun.cn 检查Ubuntu 22.04的镜像源是否配置正常 plaintext 查看apt镜像源配置 cat /etc/apt/sources.list 更新软件索引 sudo apt update 使用天翼云镜像源加速软件下载和环境部署过程，可参考 plaintext 使用天翼云镜像站的Ubuntu 22.04的apt镜像源 sudo cat >> /etc/apt/sources.list << 'EOF' deb jammy main restricted universe multiverse debsrc jammy main restricted universe multiverse deb jammysecurity main restricted universe multiverse debsrc jammysecurity main restricted universe multiverse deb jammyupdates main restricted universe multiverse debsrc jammyupdates main restricted universe multiverse deb jammyproposed main restricted universe multiverse debsrc jammyproposed main restricted universe multiverse deb jammybackports main restricted universe multiverse debsrc jammybackports main restricted universe multiverse EOF 更新软件索引 sudo apt update

GPU云主机如何安装NVIDIA驱动？ NVIDIA GPU云主机需要安装驱动后才可以正常使用，天翼云GPU云主机支持安装以下两种NVIDIA驱动： GPU驱动：用于驱动物理GPU，也称Tesla 驱动。 GRID驱动：用于获得图形加速能力。 具体操作步骤您可参见NVIDIA驱动安装指引。 Windows弹性云主机如何删除多余的网络连接？ 要删除 Windows 弹性云主机中的多余网络连接，您可以尝试以下两种方法。请注意，对注册表进行更改可能会影响系统稳定性，因此在进行操作之前请务必备份注册表或谨慎操作。 方法一 1. 按下Win+R键，在运行对话框中输入 "regedit" 并按回车键，以打开注册表编辑器。 2. 导航到以下注册表路径： HKEYLOCALMACHINESOFTWAREMicrosoftWindows NTCurrentVersionNetworkListProfiles 3. 在 "Profiles" 键下，您将看到多个子项，每个子项的名称可能是由数字和字母组成的序列。依次单击每个子项，检查右侧窗口中名为 "ProfileName" 的键值对应的 "数据" 列。 4. 双击 "ProfileName" 键，将 "数值数据" 修改为您想要更改的网络名称。 5. 重启云主机，使更改生效。 方法二 1. 按下Win+R键，在运行对话框中输入 "regedit" 并按回车键，以打开注册表编辑器。 2. 导航到以下注册表路径之一： HKEYLOCALMACHINESOFTWAREMicrosoftWindows NTCurrentVersionNetworkListProfilesHKEYLOCALMACHINESOFTWAREMicrosoftWindows NTCurrentVersionNetworkListSignaturesUnmanaged 3. 删除 "Unmanaged" 键下的目录，以清除多余的网络连接信息。 Linux弹性云主机启动缓慢怎么办？ 要解决弹性云主机启动缓慢的问题，您可以尝试通过修改启动等待时间来提高启动速度。

性能相关 规范 在使用文档数据库服务时，为了提高数据库系统的性能和效率，需要遵守一些性能相关规范和最佳实践。以下是一些常见的文档数据库服务性能相关规范： 合适的索引设计：正确的索引设计可以提高文档数据库服务的查询性能和效率，可以根据应用程序的查询需求来选择适当的索引类型和字段。 使用合适的数据模型：文档数据库服务是一种文档型数据库，可以使用嵌入式文档或引用式文档来存储数据。使用合适的数据模型可以提高查询效率和数据访问的速度。 避免全表扫描：文档数据库服务在执行查询时，应该避免全表扫描，尽量使用索引来加速查询。可以使用explain命令来分析查询的性能和索引的使用情况。 分布式扩展：文档数据库服务支持分布式扩展，可以使用分片技术将数据分散到多个文档数据库服务实例中，提高系统的吞吐量和性能。 使用合适的数据类型：文档数据库服务支持多种数据类型，应该根据应用程序的需求来选择合适的数据类型。例如，可以使用二进制数据类型来存储大型文件，使用数组来存储具有相同属性的数据。 使用合适的查询语句：在查询文档数据库服务数据库时，应该使用合适的查询语句和操作符，避免使用不必要的查询条件和操作符，以提高查询效率和性能。 开发过程中对集合的每一个操作都要通过执行explain()检查其执行计划，如： db.students.find({age: 20}, {name: 1, id: 0}).explain(); 合理的系统配置：为了提高文档数据库服务的性能和效率，应该合理配置文档数据库服务的系统参数和资源限制，例如内存、磁盘和CPU等。

梳理项 说明 网站和业务信息 网站/应用业务每天的流量峰值情况，包括Mbps、QPS 判断风险时间点，并且可作为WAF实例的业务带宽和业务QPS规格的选择依据。 说明 如果您选择的QPS规格不足以支撑网站/应用业务每天的流量峰值，对超出当前WAF版本支持峰值的QPS，WAF将不再防护网站，QPS将直接透传到源站，影响网站/应用业务的防护。 业务的主要用户群体（例如，访问用户的主要来源地区） 判断非法攻击来源，后续可使用地理位置访问控制功能屏蔽非法来源地区。 业务是否为C/S架构 如果是C/S架构，进一步明确是否有App客户端、Windows客户端、Linux客户端、代码回调或其他环境的客户端。 源站部署的具体位置 判断购买哪种实例region。 源站服务器的操作系统（Linux、Windows）和所使用的Web服务中间件（Apache、Nginx、IIS等） 判断源站是否存在访问控制策略，避免源站误拦截WAF回源IP转发的流量。 域名使用协议 判断所使用的通信协议WAF是否支持。 说明 网站的“对外协议”、“源站协议” 必须要根据防护网站的实际情况配置正确，WAF才会正常防护您的网站。 对外协议，即客户端（例如浏览器）请求访问网站的协议类型。可选择“HTTP”、“HTTPS”两种协议类型。 源站协议，即WAF转发客户端（例如浏览器）请求的协议类型。可选择“HTTP”、“HTTPS”两种协议类型。 业务端口 判断需要防护的业务端口是否在WAF支持的端口范围内。 标准端口： 80：HTTP对外协议默认使用端口 443：HTTPS对外协议默认使用端口 非标准端口 80/443以外的端口 业务是否使用TLS 1.0或弱加密套件 判断业务使用的加密套件是否支持。 业务在接入WAF前，是否已接入DDoS高防、CDN等服务。 接入WAF时，判断如何选择“是否已使用代理”，以及正确进行域名解析。 （针对HTTPS业务）客户端是否支持SNI标准 对于支持HTTPS协议的域名，接入WAF后，客户端和服务端都需要支持SNI标准。 业务交互过程 了解业务交互过程、业务处理逻辑，便于后续配置针对性防护策略。 活跃用户数量 便于后续在处理紧急攻击事件时，判断事件严重程度，以采取风险较低的应急处理措施。 业务及攻击情况 业务类型及业务特征（例如，游戏、棋牌、网站、App等业务） 便于在后续攻击防护过程中分析攻击特征。 单用户、单IP的入方向流量范围和连接情况 帮助后续判断是否可针对单个IP制定限速策略。 用户群体属性 例如，个人用户、网吧用户、或通过代理访问的用户。 业务是否遭受过大流量攻击、攻击类型和最大的攻击流量峰值 判断是否需要增加DDoS防护服务，并根据攻击流量峰值判断需要的DDoS防护规格。 业务是否遭受过CC攻击和最大的CC攻击峰值QPS 通过分析历史攻击特征，配置预防性策略。 业务是否已完成压力测试 评估源站服务器的请求处理性能，帮助后续判断是否因遭受攻击导致业务发生异常。

本文为您介绍卸载Tesla驱动的操作方法。 背景信息 警告：GPU云主机必须配备了相关驱动才可以正常使用。如果您因某种原因需要卸载当前驱动，请务必再安装与您实例规格及操作系统相匹配的正确驱动，否则会因GPU云主机与安装的驱动不匹配而造成业务无法正常进行的风险。 在Windows操作系统中卸载Tesla驱动 以下操作以操作系统为Windows Server 2019的GPU计算加速型云主机PI7为例。 1. 登录控制中心。 2. 单击“左侧导航栏>服务列表”，选择“计算 > 弹性云主机”。 3. 获取GPU云主机密码。VNC方式登录GPU云主机时，需已知其密码，然后再采用VNC方式登录。 4. 在云主机列表中，选择目标GPU云主机，其对应的“操作”列下，点击“远程登录”。 5. （可选）如果界面提示“Press CTRL+ALT+DELETE to log on”，请单击远程登录操作面板右上方的“Send CtrlAltDel”按钮进行登录。 6. 根据界面提示，输入GPU云主机的密码登录。 7. 单击Windows桌面左下角图标，单击“控制面板”。 8. 在控制面板中，选择“程序 > 卸载程序”。 9. 右键单击待卸载的GPU驱动，然后单击“卸载/更改(U)”。 10. 在弹出的卸载程序对话框中，单击“卸载(U)”。 11. 卸载完成后，单击“马上重新启动(R)”。重启完成后，则GPU驱动已卸载成功。

本文介绍弹性容器实例ECI的功能特性。 容器运行服务 弹性容器实例是一种敏捷安全的Serverless容器运行服务。每个ECI实例都对应一个容器组（即一个Pod），其中包含vCPU、内存、操作系统、容器运行时、网络和临时存储等基础组件。 Serverless 使用ECI实例，您只需要提供打包好的镜像，即可运行容器应用，无需关注底层基础架构的管理和运维问题。 自定义规格 ECI实例支持多种类型的计算资源来运行容器，您可以指定实例级别或容器级别的vCPU和内存，以及指定规格满足特殊业务需求。 按量计费 支持一站式管理ECI实例的生命周期，按照实际实例运行时长内消耗的资源计费。 秒级弹性伸缩 ECI实例具备秒级启动的能力，可以快速完成扩缩容操作，满足业务实时响应的需求。 镜像缓存 支持使用镜像缓存功能来加速ECI实例创建，减少实例启动耗时。 兼容Kubernetes 通过 Virtual Kubelet 技术，弹性容器实例ECI 可以接入 Kubernetes 集群的虚拟节点，实现集群的弹性扩容，无需受限于节点的计算容量。在 ECI 接管 Pod 容器底层基础设施管理工作之后，Kubernetes 将不再需要直接管理单个 Pod 的启动、放置等工作，也不再需要关注底层虚拟机的资源情况，相应的资源将由 ECI 确保随时可用。 目前，ECI 已无缝集成到Serverless容器引擎SCE产品中，您可以通过Serverless容器集群快速体验ECI的强大容器运行能力。

本节介绍了如何获取服务返回的CNAME，并将域名或者业务的DNS解析指向我们提供的CNAME，这样访问的请求才能转发到边缘云清洗节点上，达到清洗效果。 操作步骤 要启用DDoS高防（边缘云）服务，需要您将接入域名的DNS解析指向我们提供的CNAME，这样域名的请求才能转发到天翼云边缘节点上。 1. 在控制台【业务接入】的域名列表或者端口列表中复制域名或端口对应的CNAME。 2. 前往您的域名解析(DNS)服务商(如万网、阿里云解析、DNSPod、新网、腾讯云解析、route 53、godaddy等)，添加该CNAME记录。 3. 验证服务是否生效。配置CNAME后，不同的服务商CNAME生效的时间也不同，一般新增的CNAME记录会立即生效，修改的CNAME记录会需要较长时间生效；您可以 ping 或 dig 您所添加的加速域名，如果被指向.ctdns.cn，即表示CNAME配置已经生效，功能也已生效。 注意 1. 配置CNAME完毕，CNAME配置生效后，DDoS高防（边缘云版）服务生效。 2. CNAME配置生效时间：新增CNAME记录会实时生效，而修改CNAME记录需要最多72小时生效时间。

接口功能介绍 添加直播拉流配置信息。 使用说明 拉流是将第三方直播流地址拉取到天翼云直播中心进行加速分发的过程。 本接口支持提前设定时间拉流，即指定拉流的起始时间和结束时间，在指定时间进行拉流直播。 单个用户一分钟限制调用100次。 接口详情 请求方式：POST 请求路径：/live/preload/createpreload 请求参数 参数名 类型 名称 是否必填 说明 ::::: type string 任务类型 是 可选参数为 hls或flv。 hls: http hls直播流；flv：http/flv直播流。 url string 拉流URL 是 支持hls，http/flv请求url。需要带协议头(例如 starttime string 预拉取的起始时间 是 时间格式："20190521 18:03:48"，开始时间不能小于当前时间。 endtime string 预拉取的结束时间 是 预拉取的结束时间，时间格式："20190521 18:03:48" 。endtime<当前时间或者endtimestarttime<10分钟 会返回失败。 如果有起始时间没有结束时间，一直拉取，直到任务被停止，或者超时范围内没有拉到流,回调任务停止或者任务失败 响应参数 字段名称 类型 说明 ::: code int 当code100000则提交成功，其他失败 taskid string message string 当code ! 100000时，显示错误信息 示例 请求路径：

SnapCheckpoint(Snapckpt)是由息壤一体化智算服务平台 一站式智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt加速包 SnapCheckpoint（Snapckpt）是由息壤一体化智算服务平台 一站式智算服务平台提供的针对大模型训练场景提供的高性能checkpoint框架。Snapckpt提供了高效便捷的断点存储、加载机制。 Snapckpt介绍 Snapckpt是一种为大模型训练打造的易用、可拓展、高性能的断点解决方案。Snapckpt提供了高效便捷的断点存储、加载机制，其主要有以下几大优势： 1. 异步断点保存：通过优化断点保存流程，使得断点保存过程异步化，尽可能减小断点保存过程对于训练的中断，减少训练阶段耗时。 2. 分布式断点存储：对模型机优化器参数进行分布式存储，避免集中式存储带来的额外通信开销，大幅降低存储与加载断点的耗时。 3. 多框架支持：支持MegatronLM、Deepspeed两大主流大模型训练框架。 4. 简单易用：安装及使用方式简单，用户仅需简单步骤即可使用，提升使用效率。 背景信息 在大规模分布式模型训练过程中，系统可能因硬件故障或软件异常导致训练中断。为确保训练进度可恢复，业界普遍采用周期性保存检查点(Checkpoint)的方案。值得注意的是，检查点操作耗时与模型参数量呈正相关关系，当面对参数量达百亿甚至千亿级别的大模型时，每次检查点保存往往需要耗费数分钟至十余分钟不等。特别是在使用MegatronLM框架或原生PyTorch进行训练时，检查点保存过程会强制暂停训练任务，导致宝贵的计算资源被闲置。因此，开发高效的检查点机制以降低时间成本和资源浪费，已成为当前大规模模型训练亟待解决的关键问题。 Snapckpt采用多阶段异步断点存储机制，降低断点存储耗时，减少训练中断带来的影响，从而提升训练速度，提升计算资源有效利用率。

组合优势 缓存自动卸载：显存减负与数据流转的核心枢纽 HPKV 系统构建了 GPU HBM → Host DRAM → Local NVMe SSD 或 Remote Storage/HPFS 的多级存储体系，通过跨请求的 KV Cache 深度复用，践行“以存代算”理念，有效消除推理服务中的冗余计算开销，显著降低首Token延迟（TTFT）并提升吞吐量，同时降低算力成本。通过智能沉降与基于热度、存储时长、容量的多策略驱逐机制，在各级存储间自动流转数据，精准淘汰冷数据，实现效率与成本的最优平衡。 智能数据预取：掩盖 I/O 延迟的启动加速核心 在推理任务排队等待阶段，通过与全局调度器的深度联动实现智能预取。系统提前将目标 KV Cache 从 SSD/HPFS 异步预取至 Host 内存和 GPU HBM，确保任务启动时数据“即取即用”，有效掩盖 I/O 延迟，将任务启动等待时间缩减 50% 以上，极大提升用户体验。 分布式存储层：容量与性能的弹性基石 深度集成高性能分布式文件系统 HPFS，将 KV Cache 存储容量从 GB 级显存无缝扩展至 PB 级，实现存储资源的独立弹性伸缩。其通过全链路 RDMA 与 IB/RoCE 高速网络协议，提供千万级 IOPS 与 TBps 级吞吐，同时保证亚毫秒级延迟，使海量历史上下文不仅能“存得下”，更能“取得快”。在多轮对话与高并发场景中，该架构以极速 I/O 替代 GPU重复计算，在充分释放昂贵 HBM 资源的同时，保障了推理服务的超低延迟响应，最终达成了存算效率与成本的最佳平衡。 生态兼容：多框架多硬件的广泛兼容 适配天翼云自研 CTyunOS 系列及主流 Linux 操作系统，广泛兼容多款国产化AI算力硬件。无缝对接 vLLM、SGLang 等主流开源大模型推理引擎，全面支持张量并行（TP）、流水线并行（PP）、数据并行（DP）、PD 分离等主流分布式策略及多种注意力机制的模型，灵活适配并支撑多样化的模型架构演进。

本文介绍控制台（或API）用量分析里的流量与日志统计的流量有差异的原因。 客户控制台上可查询带宽、流量等统计数据，该数据同时也应用于生成计费账单，其流量会比基于访问日志统计的流量偏多。原因是全站日志中记录的流量数据是基于应用层日志中响应消息头+响应body体统计出的流量，而在实际网络请求中产生的网络流量，由于存在TCP/IP包头消耗和TCP重传，要比应用层统计到的流量数据高出7%~15%。因此按照业界标准，应用于账单的计费值会比基于访问日志计算得出的计费值上浮10%。 TCP/IP包头的消耗 HTTP请求是基于TCP/IP协议的，数据包是TCP/IP协议通信传输中的数据单位，我们在使用基于TCP/IP协议的网络时，网络中传递的其实就是数据包。每个数据包的大小最大是1500字节，这1500字节中包括了TCP和IP协议组成的40个字节的包头，这两个协议包头其实也会产生流量，但是却无法被应用层统计到，因此这40个字节的流量就不会被统计到日志里，这部分的流量会占到我们通过日志计算出流量的2.74%（40/1460）以上，即3%左右。 TCP重传 根据互联网中网络的负载情况，通常情况下，会有接近3%~10%的数据包会因为网络堵塞、设备故障等各种异常情况被丢弃。发生丢包后，服务器会对丢弃的数据包进行重传，这部分的具体操作是由内核层的协议栈处理完成的，通常无法被应用层统计到的，因此在一定程度上也会造成日志统计与实际网络响应流量的差异。 综上所述，天翼云全站加速产品取平均值10%作为网络层额外消耗的流量比例，即应用于账单的计费值会比基于访问日志计算得出的计费值上浮10%。

模型开源 支持DeepSpeed微调：我们支持使用DeepSpeed进行模型微调，并已经开源了基于DeepSpeed的训练代码。这段代码不仅便于用户进行高效的模型训练，还具备一系列优化特性。 Zero并行显存优化：开源的训练代码中集成了Zero并行显存优化技术，这一技术能够显著提升训练过程中的显存利用率，使得在有限资源下训练更大规模的模型成为可能。 集成FlashAttention2：我们的训练代码还集成了FlashAttention2，这是一种高效的注意力机制实现，能够进一步加速模型的训练过程，提高训练效率。 多轮对话能力支持：为了提升模型在复杂对话场景中的表现，我们开源了多轮数据构建方式，并针对多轮模型训练集成了特定的mask loss训练方式。这种训练方式有助于模型更好地聚焦多轮对话中的关键信息，从而提升问答效果和用户体验。 外推能力提升：我们开源了8K训练版本的模型，并采用了NTKaware外推和attention scaling外推方式。这些技术使得模型能够成功外推到96K的更大规模，显著增强了模型的外推能力和泛化性能。 长文生成能力：该模型还展现出了较强的长文生成能力，在多个长文写作任务上表现优异，包括但不限于工作总结、工作计划、PPT大纲、申论、招标书、邮件、方案、周报以及JD（职位描述）写作等。这些实际应用场景的验证，充分证明了模型在复杂文本生成任务中的强大实力和广泛应用潜力。

模型开源 支持DeepSpeed微调：我们支持使用DeepSpeed进行模型微调，并已经开源了基于DeepSpeed的训练代码。这段代码不仅便于用户进行高效的模型训练，还具备一系列优化特性。 Zero并行显存优化：开源的训练代码中集成了Zero并行显存优化技术，这一技术能够显著提升训练过程中的显存利用率，使得在有限资源下训练更大规模的模型成为可能。 集成FlashAttention2：我们的训练代码还集成了FlashAttention2，这是一种高效的注意力机制实现，能够进一步加速模型的训练过程，提高训练效率。 多轮对话能力支持：为了提升模型在复杂对话场景中的表现，我们开源了多轮数据构建方式，并针对多轮模型训练集成了特定的mask loss训练方式。这种训练方式有助于模型更好地聚焦多轮对话中的关键信息，从而提升问答效果和用户体验。 外推能力提升：我们开源了8K训练版本的模型，并采用了NTKaware外推和attention scaling外推方式。这些技术使得模型能够成功外推到96K的更大规模，显著增强了模型的外推能力和泛化性能。 长文生成能力：该模型还展现出了较强的长文生成能力，在多个长文写作任务上表现优异，包括但不限于工作总结、工作计划、PPT大纲、申论、招标书、邮件、方案、周报以及JD（职位描述）写作等。这些实际应用场景的验证，充分证明了模型在复杂文本生成任务中的强大实力和广泛应用潜力。

训推一体场景 使用场景 主要面向对数据保密及安全有着较高要求的企业单位与科研机构，可有力支撑其在私有化环境中，凭借自有数据开展专属行业大模型的训练或者微调工作，尤其适用于政务、医疗、金融等诸多行业领域，充分满足不同行业对于数据安全及大模型定制化应用的需求。 产品优势 拥有丰富多样的训推一体机规格，可依据不同用户的具体业务规模、算力需求等情况，灵活提供适配性强的产品选择。 配备简单易用的训练平台，极大降低了用户的操作门槛，让即使没有深厚技术背景的人员也能便捷地进行大模型的相关训练操作，有效提升工作效率。 模型推理场景 使用场景 精准契合那些无大模型训练诉求，但又需要在私有化环境下部署自有大模型或引入行业大模型，以此为自身应用赋予智能能力的应用场景，广泛覆盖教育平台、数字政务以及医疗应用等关键领域，通过快速调用内置DeepSeek等系列大模型，获取高效的推理服务，为行业应用提供强大的AI支持，提升业务智能化水平。 产品优势 具备推理加速功能以及量化压缩技术，能够大幅提升模型推理的速度与效率，同时优化资源利用，降低对硬件资源的依赖。 支持在本地进行快速部署，可迅速将大模型的推理能力融入到现有业务体系中，减少部署时间成本，快速实现应用赋能与价值创造。

本文为您介绍卸载Tesla驱动的操作方法。 背景信息 注意 GPU云主机必须配备了相关驱动才可以正常使用。如果您因某种原因需要卸载当前驱动，请务必再安装与您实例规格及操作系统相匹配的正确驱动，否则会因GPU云主机与安装的驱动不匹配而造成业务无法正常进行的风险。 前置说明 卸载 Tesla 驱动前，请先完成cuDNN及CUDA的卸载操作，再按本文步骤执行驱动卸载。 关闭所有使用Tesla 驱动的程序。 在Windows操作系统中卸载Tesla驱动 以下操作以操作系统为Windows Server 2019的GPU计算加速型云主机PI7为例。 1. 登录控制中心。 2. 单击“左侧导航栏>服务列表”，选择“计算 > 弹性云主机”。 3. 获取GPU云主机密码。VNC方式登录GPU云主机时，需已知其密码，然后再采用VNC方式登录。 4. 在云主机列表中，选择目标GPU云主机，其对应的“操作”列下，点击“远程登录”。 5. （可选）如果界面提示“Press CTRL+ALT+DELETE to log on”，请单击远程登录操作面板右上方的“Send CtrlAltDel”按钮进行登录。 6. 根据界面提示，输入GPU云主机的密码登录。 7. 单击Windows桌面左下角图标，单击“控制面板”。 8. 在控制面板中，选择“程序 > 卸载程序”。 9. 右键单击待卸载的GPU驱动，然后单击“卸载/更改(U)”。 10. 在弹出的卸载程序对话框中，单击“卸载(U)”。 11. 卸载完成后，单击“马上重新启动(R)”。重启完成后，打开“设备管理器”→“显示适配器”，若未显示NVIDIA Tesla相关显卡，即表示驱动卸载成功。

本章节主要介绍使用咨询相关问题。 什么是DLI 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。用户不需要管理任何服务器，即开即用。支持标准SQL/Spark SQL/Flink SQL，支持多种接入方式，并兼容主流数据格式。数据无需复杂的抽取、转换、加载，使用SQL或程序就可以对云上CloudTable、RDS、DWS、CSS、OBS、ECS自建数据库以及线下数据库的异构数据进行探索。 DLI支持哪些数据格式 DLI支持如下数据格式： Parquet CSV ORC Json Avro DLI中的Spark组件与MRS中的Spark组件有什么区别？ DLI服务的Spark组件是全托管式服务，用户对Spark组件不感知，仅仅可以使用该服务，且接口为封装式接口。 MRS服务Spark组件的是建立在客户的购买MRS服务所分配的虚机上，用户可以根据实际需求调整及优化Spark服务，支持各种接口调用。 DLI的数据可存储在哪些地方 DLI服务的数据可存储在如下地方： OBS：SQL作业，Spark作业，Flink作业使用的数据均可以存储在OBS服务中，降低存储成本。 DLI：DLI内部使用的是列存的Parquet格式，即数据以Parquet格式存储。存储成本较高。 跨源作业可将数据存储在对应的服务中，目前支持CloudTable，CSS，DCS，DDS，DWS，MRS，RDS等。 DLI表与OBS表的区别 DLI表表示数据存储在本服务内部，用户不感知数据存储路径。 OBS表表示数据存储在用户自己账户的OBS桶中，源数据文件由用户自己管理。 DLI表相较于OBS表提供了更多权限控制和缓存加速的功能，性能相较于外表性能更好，但是会收取存储费用。

本文为您详细介绍DeepSeekV3模型。 模型简介 DeepSeekV3是DeepSeek团队开发的新一代专家混合（MoE）语言模型，共有671B参数，在14.8万亿个Tokens上进行预训练。该模型采用多头潜在注意力（MLA）和DeepSeekMoE架构，继承了DeepSeekV2模型的优势，并在性能、效率和功能上进行了显著提升。 使用场景 DeepSeekV3模型适用于多种自然语言处理任务，如文本生成、问答系统、文本摘要等，能够生成高质量的语言内容并支持多语言对话。此外，它在数学推理、代码生成等复杂任务中表现出色，可广泛应用于教育、商业决策和编程辅助等领域。 评测效果 基础模型评估 聊天模型评估 注意：所有模型均在将输出长度限制为8K的配置中进行评估。包含少于1000个样品的基准使用不同的温度设置进行多次测试，以获得可靠的最终结果。DeepSeekV3是性能最佳的开源模型，并且与前沿的闭源模型相比也表现出有竞争力的性能。 技术亮点 创新的负载均衡策略和训练目标 除了DeepSeekV2的高效架构之外，DeepSeekV3开创了一种用于负载均衡的辅助无损策略，该策略可以最大限度地减少因鼓励负载均衡而引起的性能下降。 多标记预测（MTP）目标，并证明它对模型性能有益，可用于推理加速的推测解码。

客户域名可能会因为恶意攻击、网站恶意盗刷等各种恶意访问行为产生突发流量或带宽，进而在DDoS 高防（边缘云版）产生超出日常正常加速的服务费用。本文侧重介绍如何避免因恶意攻击带来的高额账单风险。 方法一：设置可用额度预警 通过对客户在天翼云官网账户的可用额度预警进行设置，当用户的余额低于阈值，系统会发送短信提醒。 操作步骤： 1. 登录天翼云账户。 2. 单击右上角。 3. 单击【费用中心】。 4. 打开【可用额度预警】开关，修改预警阈值，当用户的余额低于阈值，系统会发送短信提醒。 方法二：开通安全防护功能 DDoS 高防（边缘云版）是针对游戏、互联网及金融等业务遭受大流量 DDoS 攻击导致用户服务不可用的情况而推出的付费防护服务，如果客户的业务存在潜在的被恶意访问风险，需要抗DDoS和抗CC攻击的安全防护功能，建议开通DDoS高防（边缘云版），详情请见：DDoS高防（边缘云版）；如果客户的网站既需要进行流量型DDoS攻击的防护，同时也需要对精巧的Web应用层攻击时进行防御，建议叠加Web应用防火墙（边缘云版）进行联合防御。详情请见：叠加Web应用防火墙（边缘云版）。

主机迁移服务重要声明有哪些？ 源端服务器数据收集声明 。 源端服务器上安装和配置完迁移Agent后，迁移Agent会把源端服务器信息发送给主机迁移服务校验，收集的源端服务器的详细信息请参见主机迁移服务会收集源端的哪些信息？。这些数据只用于迁移可行性判断，不做其他用途。若您使用主机迁移服务，表示您同意主机迁移服务对这些信息的收集。 License失效声明 。 源端服务器的系统、应用、文件等数据迁移到目的端服务器后，服务器的SID、网卡MAC地址等信息发生改变，导致OS、应用等License失效。此类问题，主机迁移服务概不负责。对于Windows License可以使用天翼云License服务器获取新License，应用License用户自行解决。 迁移过程中禁止对目的端服务器的系统、磁盘进行操作，包括但不限于切换操作系统、重装系统等。在迁移过程中对目的端服务器进行操作所产生的费用以及数据损坏等问题，主机迁移服务概不负责。 目的端服务器磁盘格式化说明 。 迁移过程中，目的端服务器的磁盘会被格式化并重新进行分区，导致目的端服务器上所有数据丢失。请迁移前做好数据备份以及确认目的端服务器磁盘可被格式化。否则造成数据丢失，主机迁移服务概不负责。 源端磁盘数据安全性声明 迁移过程中，主机迁移服务无法感知磁盘内容，需要您自行保障源端磁盘数据的安全性。如果因为源端磁盘数据中存在木马或病毒等软件，导致迁移后目的端VPC内的主机受到影响，主机迁移服务概不负责。 源端服务器导致的迁移问题免责申明 。 因源端服务器的硬件(如磁盘、网卡）、软件(如OS、应用)、数据（文件）等损坏/配置不当/不兼容/业务量大/网络慢等因素引发的迁移问题，非主机迁移服务的问题，包括但不限于下面列举的问题。您可自行解决，若自行解决无果，您可以向天翼云提出咨询或请求天翼云协助解决，但天翼云不承诺解决问题。 源端服务器系统本身有问题，如：Windows的启动文件损坏或缺失。 源端服务器系统配置错乱，如：Linux的grub配置错乱缺失，fstab配置错乱。 网络问题，如：访问不了公网，网速慢，ssh问题，防火墙等。 IO读写慢，增量数据多，Windows有效簇分散，Linux小文件多导致的迁移慢，同步慢，同步时间比较久的问题。 源端平台服务或软件与天翼云不兼容。 源端平台服务或软件把Agent关闭，或杀毒软件把IO监控关闭。 迁移到天翼云后，若目的端服务器不能正常启动，天翼云可以提供相应的技术支持，但是不承诺解决问题。 其中目的端服务器不能正常启动的原因可能包括以下几种： 源端服务器本身无法重启 源端服务器上有非OS标准的配置 源端服务器上安装了与天翼云不兼容的驱动或软件等 为了适配天翼云，主机迁移服务对目的端服务器的系统配置做了修改，详细的修改项请参见迁移后目的端与源端相比有哪些变化？。主机迁移服务可以保证迁移前后数据一致性，但无法保证业务能正常运行，需要您自己修改业务相关配置。 业务割接后，源端服务器、目的端服务器均有新增数据时，使用主机迁移服务，无法将源端新增数据与目的端新增数据进行合并，只能使用源端数据覆盖目的端数据。因此，建议您在业务割接前，不要在目的端服务器新增数据；业务割接后，不要在源端服务器新增数据。对于业务割接后，源端服务器、目的端服务器均有新增数据且需要合并的情况，需要您自行设计解决方案。 GPU服务器驱动问题声明 迁移到GPU服务器出现的驱动相关问题（如：不具备计算加速/图形加速能力），需要您自行安装相关驱动解决。若自行解决无果，天翼云可以提供相应的技术支持，但是不承诺解决问题。 关于业务隔离、业务冲突声明 主机迁移服务在迁移过程中，不会识别和感知用户业务，需要用户自行识别源端和目的端业务之间的冲突并保持隔离性，如果因为目的端启动后对源端造成业务冲突异常，主机迁移服务概不负责。

字段 描述 CacheControl 指定文件的缓存行为。 取值： nocache：不直接使用缓存，而是先去服务端验证文件是否已更新。如果文件已更新，说明本地缓存已过期，需从服务端重新下载文件；如果文件未更新，表明本地缓存未过期，此时使用本地缓存。 nostore：文件不会被缓存。 public：文件允许被任何中间者（可能是代理服务器、类似于 cdn 网络）缓存。 private：文件只能被获取它的终端缓存。它不允许任何中间者（intermediate）缓存响应的资源。 maxage：缓存文件的相对过期时间，单位为秒。此选项仅在HTTP 1.1中可用。 ContentDisposition 指定文件的展示形式。 取值： ContentDisposition:inline：直接预览文件内容。 ContentDisposition:attachment：以原文件名的形式下载到浏览器指定路径。 ContentDisposition:attachment; filename"FileName"：以自定义文件名的形式下载到浏览器指定路径。 FileName：用于自定义下载后的文件名称，例如example.jpg。 将文件下载到浏览器指定路径时： 如果文件名称包含星号（）、正斜线（/）等特殊字符时，可能会出现特殊字符转义的情况。例如，下载test.jpg"到本地时，test.jpg"可能会转义为test .jpg"。若需确保下载名称中包含中文字符的文件到本地指定路径后，文件名称不出现乱码的现象，您需要将名称中包含的中文字符进行URL编码。例如，将“中文.txt”从OOS下载到本地后，需要保留文件名为中文.txt，需按照"attachment;filename"+URLEncoder.encode("中文","UTF8")+".txt;filenameUTF8''"+URLEncoder.encode("中文","UTF8")+".txt")的格式设置ContentDisposition，即attachment;filename%E4%B8%AD%E6%96%87.txt;filename%E4%B8%AD%E6%96%87.txt。 ContentEncoding 指定文件的编码方式。需要按照文件的实际编码类型填写，否则可能造成客户端（浏览器）解析编码失败或文件下载失败。若文件未编码，不增加此项。 取值： identity：表示文件未经过压缩或编码。 gzip：表示文件采用LempelZiv（LZ77）压缩算法以及32位CRC校验的编码方式。 compress：表示文件采用LempelZivWelch（LZW）压缩算法的编码方式。 deflate：表示文件采用zlib结构和deflate压缩算法的编码方式。 br：表示文件采用Brotli算法的编码方式。 默认值为identity。 关于ContentEncoding的更多信息参见 ContentType 指定文件的内容类型。 用于定义文件的类型和网页的编码。如果没有指定文件类型，则根据文件的扩展名生成。如果文件没有扩展名，则文件类型的默认值application/octetstream。 ContentLanguage 声明文件内容使用的语言。例如某个文件使用简体中文编写，则此项可设置为zhCN。 Expires 缓存内容的绝对过期时间，格式是格林威治时间（GMT）。 例如Wed, 22 Nov 2023 14:18:58 +0800。如果CacheControl设置了maxage，以maxage为准。 xamzwebsiteredirectlocation 将相关联文件的请求重定向到同一存储桶中的其他文件或外部 URL。此值对于每个单独文件都是唯一的，原定设置情况下不会复制该值。更多信息请参考的 。

参数 类型 是否必传 名称 描述 starttime int 是 开始时间戳 起始时间，时间戳(秒)。 endtime int 是 结束时间戳 结束时间，时间戳(秒)。 interval string 否 时间粒度 时间粒度，目前支持1m，5m，1h和24h，默认5m。 producttype list< string > 否 产品类型 传“006”代表全站加速，不传代表全部产品。 busitype list< int > 否 业务类型 0(base)，1(upload)，2(websocket)，不传默认所有业务类型 domain list< string > 否 域名列表 域名，不传默认名下所有域名，可多个域名，作为统计筛选项。 province list< int > 否 省编码列表 省编码，不传默认所有省份，可多个省编码，作为统计筛选项，点击查看 isp list< string > 否 运营商编码列表 运营商编码，不传默认所有运营商，可多个运营商编码，作为统计筛选项，点击查看 networklayerprotocol string 否 网络层协议 网络层协议，不传默认所有网络层协议，支持作为统计筛选项，可以为ipv4、ipv6、other。 applicationlayerprotocol string 否 应用层协议 应用层协议，不传默认所有应用层协议，支持作为统计筛选项，可以为http，https，rtmp，quic，other。 abroad int 否 区域 0(国内)，1(国外)，不传或为空默认返回全部区域 groupby list< string > 否 结果聚合维度 指标在计算结果的聚合维度，不传或为空默认按照时间粒度聚合，可多个统计维度，可以为producttype，busitype，domain，province，isp，networklayerprotocol，applicationlayerprotocol，abroad 。

典型应用场景 Hermes内置浏览器工具和十余种常用Skills，涵盖文件管理，系统优化，信息获取和内容创作等办公全场景，告别手动操作实现智能自动化； 1. 批量整理文件：自动将散乱的项目文档分类归档（视频，软件，笔记，文档），并生成整理报告。 2. 电脑加速：自动诊断系统性能问题并给出优化建议，接受指令一键释放系统缓存和关闭不用的后台服务。 3. 获取热门资讯：自动全网搜索指定的领域新闻，整理分类并生成MD格式的文档，保存到指定的路径。 4. 网页程序：无需代码基础，自动编写HTML文档，生成可直接运行的网页。 5. 撰写材料：根据提示自动检索互联网相关内容并生成结构清晰的办公文档，支持多种文件格式（Word，PPT，Excel等）。 进阶操作 1. 安装skills：直接对Hermes说帮我安装xxx技能，Hermes便会自动完成skill搜索，安装并加载，完成后即可直接使用。 2. 使用“/”命令：在输入对话框中可以直接输入“/”，可以唤醒Hermes系统指令包括（切换模型，新建会话，切换Agent人设，回滚消息，罗列技能列表等）；也可直接指定本次消息使用的技能。 3. 配置更多IM通道：打开系统终端输入“hermes gateway setup”，可配置更多IM通道，配置完选择重启后台服务即可生效。 4. 打开终端对话：Hermes自带终端对话，只要打开系统终端并输入“hermes”即可进入，可以享受最极客的对话体验。

本节介绍了:成本分析的用户指南。 背景 随着云原生技术的普及，Kubernetes凭借其弹性伸缩、多租户隔离和资源共享等特性加速了企业上云进程，但资源的动态性也导致传统成本管理模型难以适用。 在云原生场景下，传统成本管控主要面临以下挑战： 资源粒度细：容器、Pod、节点等多层资源相互交织，成本归属难以清晰界定。 浪费难追踪：闲置资源、过度配置（如CPU Request设置过高）等问题隐蔽性强。 缺乏协同机制：财务、运维与开发团队之间的成本目标存在脱节。 基于FinOps理念，云容器引擎构建了成本分析治理体系，助力企业在享受云原生技术红利的同时实现精准成本管控与资源效益最大化。该体系通过多维度成本透视与智能分账功能，聚合集群、命名空间、节点及工作负载等层级的成本数据，支持分摊IaaS费用（如云服务器和云磁盘等），并分析集群成本开销与资源使用状况。IT成本管理人员可直观掌握资源成本构成，识别资源浪费；同时依托资源画像与优化检查能力，有效推动企业降本增效。 成本治理流程 成本治理的一般流程为： 1. 预算规划：企业IT成本管理人员对项目（通常对应Kubernetes集群）、部门（对应集群命名空间）及业务产品（对应一个或多个应用/工作负载）分配预算额度。 2. 成本监控：开通成本洞察功能后，通过分析集群成本报表与预测数据，判断是否存在资源浪费或超支风险，评估实际支出是否与预算相符。 3. 问题定位：若实际支出与预算偏差较大，可基于多维度报表（如命名空间、应用层级）定位造成浪费的主要部门或业务。 4. 合理性评估：核查相关部门或业务的资源使用情况与预算分配的合理性。 5. 优化执行：如发现资源使用不当，由对应业务人员实施成本优化措施。 6. 效果验证：通过集群或多维度报表跟踪成本治理成效，确保优化措施有效落实。

本节介绍了:成本分析的用户指南。 背景 随着云原生技术的普及，Kubernetes凭借其弹性伸缩、多租户隔离和资源共享等特性加速了企业上云进程，但资源的动态性也导致传统成本管理模型难以适用。 在云原生场景下，传统成本管控主要面临以下挑战： 资源粒度细：容器、Pod、节点等多层资源相互交织，成本归属难以清晰界定。 浪费难追踪：闲置资源、过度配置（如CPU Request设置过高）等问题隐蔽性强。 缺乏协同机制：财务、运维与开发团队之间的成本目标存在脱节。 基于FinOps理念，云容器引擎构建了成本分析治理体系，助力企业在享受云原生技术红利的同时实现精准成本管控与资源效益最大化。该体系通过多维度成本透视与智能分账功能，聚合集群、命名空间、节点及工作负载等层级的成本数据，支持分摊IaaS费用（如云服务器和云磁盘等），并分析集群成本开销与资源使用状况。IT成本管理人员可直观掌握资源成本构成，识别资源浪费；同时依托资源画像与优化检查能力，有效推动企业降本增效。 成本治理流程 成本治理的一般流程为： 1. 预算规划：企业IT成本管理人员对项目（通常对应Kubernetes集群）、部门（对应集群命名空间）及业务产品（对应一个或多个应用/工作负载）分配预算额度。 2. 成本监控：开通成本洞察功能后，通过分析集群成本报表与预测数据，判断是否存在资源浪费或超支风险，评估实际支出是否与预算相符。 3. 问题定位：若实际支出与预算偏差较大，可基于多维度报表（如命名空间、应用层级）定位造成浪费的主要部门或业务。 4. 合理性评估：核查相关部门或业务的资源使用情况与预算分配的合理性。 5. 优化执行：如发现资源使用不当，由对应业务人员实施成本优化措施。 6. 效果验证：通过集群或多维度报表跟踪成本治理成效，确保优化措施有效落实。

三、物料准备 3.1 模型文件获取 方式一：（极速）使用cthpc一键安装工具，分钟级快速下发模型，当前支持： 华东1、武汉41、上海15、华北2、华南2、北京9、西南1、长沙42。 plaintext mkdir p /mnt/nvme1n1/model 使用 cthpc 工具极速下发 cthpc model makecache cthpc model install DeepSeekV4Flashw8a8mtp dir /mnt/nvme1n1/model/ 方式二：（传统方式速度慢）基于modelscope、魔乐社区、huggingface平台，使用对应工具直接下载（不推荐，受限于公网EIP订阅的带宽大小） plaintext mkdir p /mnt/nvme1n1/model modelscope下载依赖python3.8+的环境，若缺失，则需要构建虚拟环境 pip install upgrade pip i pip install modelscope modelscope download model EcoTech/DeepSeekV4Flashw8a8mtp localdir /mnt/nvme1n1/model/DeepSeekV4Flashw8a8mtp 3.2 高性能容器SIF文件获取 基于Apptainer（原 Singularity） 封装的 vLLMAscend 昇腾推理加速包，高性能计算集群产品将持续迭代优化，原生适配昇腾 NPU 硬件、无权限壁垒、极致轻量化、生产级稳定，全面超越传统 Docker 容器，是昇腾 AI 推理场景的最优融合选择。 方式一：（极速）使用cthpc一键安装工具，秒级快速下发apptainer高性能容器灌装，当前支持： 华东1、武汉41、上海15、华北2、华南2、北京9、西南1、长沙42。 plaintext mkdir p /mnt/nvme0n1/apptainer 使用 cthpc 工具极速下发 cthpc apptainer makecache cthpc apptainer install vllmascendv0.13.0rc3 dir /mnt/nvme0n1/apptainer/ 方式二：（传统方式速度慢）通过天翼云zos站点直接下载（不推荐，受限于公网EIP订阅的带宽大小） plaintext mkdir p /mnt/nvme0n1/apptainer 使用 wget 从 天翼云ZOS 下载 SIF 镜像 wget

技术亮点 与Qwen7B预训练模型相同，Qwen7BChat模型规模基本情况如下所示： Hyperparameter Value nlayers 32 nheads 32 dmodel 4096 vocab size 151851 sequence length 8192 在位置编码、FFN激活函数和normalization的实现方式上，采用目前最流行的做法，即RoPE相对位置编码、SwiGLU激活函数、RMSNorm（可选安装flashattention加速）。 在分词器方面，相比目前主流开源模型以中英词表为主，Qwen7BChat使用了约15万token大小的词表。该词表在GPT4使用的BPE词表cl100kbase基础上，对中文、多语言进行了优化，在对中、英、代码数据的高效编解码的基础上，对部分多语言更加友好，方便用户在不扩展词表的情况下对部分语种进行能力增强。词表对数字按单个数字位切分。调用较为高效的tiktoken分词库进行分词。 相关引用 如对你有帮助，欢迎引用！ plaintext @article{qwen, title{Qwen Technical Report}, author{Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu}, journal{arXiv preprint arXiv:2309.16609}, year{2023} }

前提条件 创建私有镜像前，请您务必执行以下操作： 请将云主机中的敏感数据删除后再创建私有镜像，避免数据安全隐患。 确保云主机处于运行中或关机状态。 检查云主机的网络配置，确保网卡属性为DHCP方式，按需开启远程桌面连接功能。详情请参见设置网卡属性为DHCP（Windows）和开启远程桌面连接功能。 有些云主机正常运行或者高级功能依赖某些驱动，例如：GPU加速型云主机依赖Tesla驱动和GRID/vGPU驱动。因此，需要提前安装特殊驱动。详情请参见安装Windows特殊驱动。 检查云主机中是否已安装一键式重置密码插件，保证镜像创建的新云主机可以使用控制台的“重置密码”功能进行密码重置。详情请参见安装一键式重置密码插件（Windows）。 检查云主机中是否已安装CloudbaseInit工具，保证镜像创建的新云主机可以使用控制台的“用户数据注入”功能注入初始化自定义信息（例如为云主机设置登录密码）。详情请参见安装并配置CloudbaseInit工具。 检查并安装PV driver和UVP VMTools驱动，确保镜像创建的新云主机同时支持KVM虚拟化和XEN虚拟化，并且可以提升云主机网络性能。 详细操作请参见优化过程（Windows）中的步骤2~步骤5。 执行Sysprep操作，确保镜像创建的新云主机加入域后SID唯一。对于集群部署场景，SID需要保持唯一。详情请参见执行Sysprep。 说明 如果待创建私有镜像的云主机使用的是公共镜像，那么默认已安装一键式重置密码插件和CloudbaseInit工具，指导中均提供了验证是否安装的方法，您可以参考相应内容确认。

测试环境配置 测试脚本下载 LLMPerf由 Ray 项目团队开发，在github上开源，可直接下载。 plaintext git clone 工具核心功能： 性能评估 负载测试：LLMPerf可以对大语言模型（如Llama 2、GPT3等）的吞吐量和延迟性能进行测量。它通过负载测试来评估模型在不同负载下的响应延迟和生成吞吐量，帮助用户了解模型在实际应用中的性能表现。 准确性测试：该工具还可以进行正确性测试，衡量模型输出的准确性，确保模型在生成内容时能够保持较高的质量。 参数化测试 LLMPerf允许用户更改输入和输出大小等参数，以匹配不同的应用场景。这意味着用户可以根据自己的具体需求和工作负载，灵活地调整测试参数，从而获得更具针对性的性能评估结果。 结果分析 LLMPerf能够提供详细的性能指标分析，包括响应时间、吞吐量、准确性等，帮助用户深入了解模型的性能特点。 兼容性 LLMPerf支持主流的大语言模型，如OpenAI、Anthropic、TogetherAI等。这使得用户可以在一个统一的框架下对不同来源的模型进行性能比较和评估。 安装测试工具 plaintext git clone cd llmperf pip install e . 如下载速度较慢可以使用国内源进行加速 pip install e . i 配置环境变量 根据不同的API服务，需要设置不同的密钥信息和服务地址。例如对于OpenAi（vLLM类推理框架）： plaintext export OPENAIAPIKEY"your apikey" export OPENAIAPIBASE" 3.

本页介绍天翼云TeleDB数据库使用索引提高查询效率的最佳实践。 通过explain查看执行计划，查看SQL语句是否使用到了索引，Seq Scan表示对表进行了全表扫描，而如Index Scan，Index Only Scan则表示使用了索引扫描。 通常情况下，使用索引可以加速查询速度，但索引也会增加数据更新的开销，在数据量较小时，优化器也可能会使用全表扫描代替索引扫描。 例如，下面的SQL语句，使用了Parallel Seq Scan并行全表扫描。 teledb explain select from teledb2 where f3'1'; QUERY PLAN Remote Fast Query Execution (cost0.00..0.00 rows0 width0) Node/s: dn001, dn002 > Gather (cost1000.00..7827.20 rows1 width14) Workers Planned: 2 > Parallel Seq Scan on teledb2 (cost0.00..6827.10 rows1 width14) Filter: (f3 '1'::text) (6 rows) 在f2字段上创建索引后，下面的SQL语句，使用了Index Scan索引扫描。 teledb create index teledb2f2idx on teledb2(f2); CREATE INDEX postgres explain select from teledb2 where f21; QUERY PLAN Remote Fast Query Execution (cost0.00..0.00 rows0 width0) Node/s: dn001, dn002 > Index Scan using teledb2f2idx on teledb2 (cost0.42..4.44 rows1 width14) Index Cond: (f2 1) (4 rows) 当然，按SQL优化原则，上述SQL语句where条件都没有带分布键，导致SQL下发到了所有DN节点，建议尝试优化为带分布键查询。

在设置Web安全防护功能之前，您需要先进行安全基础配置。 前提条件 已开通Web应用防火墙（边缘云版）。 已新增域名并成功接入WAF，具体操作请见WAF接入 操作步骤 1. 登录Web应用防火墙（边缘云版）控制台 2. 在左侧导航栏中选择【域名管理】—【域名列表】，选择您要防护的域名，单击操作列【安全防护】 3. 进入【安全基础配置】页面 配置说明 配置项 说明 防护模式 防护模式：域名防护开关，为防护功能的全局按钮，用于控制功能是否生效 开启：开启web防护 关闭：关闭web防护，策略不生效 处理动作 处理动作：全局处理动作 拦截：当处理动作为拦截时，各防护功能的处理动作依照其配置生效； 告警：当处理动作为告警时，各防护功能的处理动作如果配置为拦截，则也生效为告警。 漏洞防护配置 设置漏洞防护配置，根据下拉提示选择适配网页业务的模板 全量防护规则集：适用于重保等级高，且允许一定程度误报的业务场景。该漏洞规则集防护包含全量规则，绝大部分规则处理动作为拦截（网站防护模式为拦截时则直接进行拦截），容易出现误报，请谨慎选择； 敏感防护规则集：适用于常规网站，且允许少量误报的业务场景。该漏洞规则集防护等级较为严格，容易误报的规则处理动作为告警，其他规则处理动作为拦截（网站防护模式为拦截时则直接进行拦截），存在一定误报可能性； 宽松防护规则集：适用于常规网站，允许存在一定漏报的业务场景。该漏洞规则集防护等级较为宽松，关闭容易产生误报的规则，则可能存在一定漏报，接入后请及时关注； PHP防护规则集：适用于后台开发语言为PHP的网站业务。该漏洞规则集主要针对后台语言为PHP进行制定，关闭其他容易产生误报的规则，接入后请及时关注； JAVA防护规则集：适用于后台开发语言为JAVA的网站业务。该漏洞规则集主要针对后台语言为JAVA进行制定，关闭其他容易产生误报的规则，接入后请及时关注； 非PHP和JAVA防护集：适用于后台开发语言明确非PHP和JAVA网站业务。该漏洞规则集主要针对后台语言为非PHP和JAVA进行制定，关闭其他容易产生误报的规则，接入后请及时关注； 下载类业务规则集：适用于下载类业务，即包含zip、rar、tar、gz等下载类后缀的业务网站。该漏洞规则集主要针对下载类业务进行设定规则，关闭其他容易产生误报的规则，接入后请及时关注； 注意：域名刚接入时建议使用【敏感防护规则集】，能够适用于大部分常规网站 静态文件后缀 在【静态文件后缀】输入框中输入无需检测的文件后缀，多个用英文;分隔，输入并提交保存后，边缘云WAF将不对这些文件类型进行检测 默认值：css;js;pjpeg;flv;mp4;mp3;wmv;wma;avi;apk;rpm;deb;bin;ogg;mpg;mpeg;f4v;rm;3gp;img;cur;jpe;ico;msi;cab;pdf;aac;swc;doc;docx;xls;xlsx;ppt;pptx;rmvb;ipa;sis;xap;m3u8;ts;gif;jpg;jpeg;swf;png;bmp