云容器引擎部署HPKV指南(1) 本文主要介绍使用云容器引擎快速部署极速缓存 HPKV。 模板市场是云容器引擎基于 Kubernetes Helm 提供的应用模板管理和应用发布的能力,您可以将 HPKV 模板(Chart)上传到模板市场,然后利用模板市场实现快速部署与后期管理,大幅简化 Kubernetes 资源的配置部署过程。 部署信息 模型:Qwen2.532B 推理引擎:vLLM(0.11.2) 实例规格:physical.h6ns.2xlarge11 1 台 支持能力 KV Cache:极速缓存 HPKV 三级缓存配置弹性存储:并行文件服务 HPFS 操作步骤 开通 GPU 物理机 1. 您需要先创建至少一台 GPU 物理机,实例类型选择 physical.h6ns.2xlarge11,用于提供模型推理的计算能力,后续容器将纳管此节点上。 2. 创建物理机实例的具体操作请参见创建物理机。操作系统镜像无需特别关注,后续纳管至容器平台时会自动重装。 创建云容器引擎集群 使用极速缓存 HPKV 前,需先创建云容器引擎集群并纳管 GPU 物理机节点,具体操作如下: 1. 登录云容器引擎控制台,创建集群 创建云容器引擎的集群,注意选择智算版才能纳管 GPU 物理机,具体操作请参见订购智算集群。容器网络配置的网络插件需选择 Calico,以支持纳管 GPU 物理机节点。 说明 默认情况下 Calico 网络模式未开放,需提前提交工单申请开通白名单。 关于 Calico 网络插件的详细介绍,请参见Calico网络插件。 2. 纳管 GPU 物理机节点 在集群创建完成后,将已准备好的 GPU 物理机节点添加至集群。添加节点过程中,选择自动重装操作系统。 纳管节点为容器通用操作,具体操作请参见纳管节点。 配置通过kubectl访问集群,具体操作请参见通过kubectl访问集群。 3. 配置大页内存(HugePages) 登录 GPU 物理机节点,配置大页内存以提升缓存性能。建议将大页内存大小设置为物理内存的一半。具体配置命令示例: 1. 配置 2M 的 HugePages 大小为 256G,实时生效 shell echo 131072 > /proc/sys/vm/nrhugepages 持久化配置,重启后生效,在/etc/sysctl.conf增加一行配置: shell vm.nrhugepages131072 2. 重启 kubelet shell systemctl restart kubelet 3. 查看配置结果 shell kubectl describe nodes
来自: