R1蒸馏模型部署(1) 背景信息 本文介绍如何在智算容器引擎加载DeepSeekR1 蒸馏模型。 前提条件 已开通包含GPU节点的Kubernetes集群。 已安装智算套件。 添加GPU节点 点击左侧【节点】>【节点池】,点击【创建节点池】。若集群已有GPU资源,请忽略。 在规格中可选择【x86计算】或【弹性裸金属服务器】中的【GPU计算加速型】或【GPU型】,节点池创建成功后,进入节点池列表,扩容节点至期望的节点数量。 操作步骤 进入云容器引擎控制台。 点击左侧【集群】进入集群列表。 点击使用的集群名称,进入集群。 点击左侧【工作负载】>【自定义资源】,选择资源浏览器,找到apps/v1/Deployment,选择命名空间,点击新增。 在创建yaml中,填入以下GPU模板信息后点击【创建】。 注意 1. 修改对应的镜像仓库地址前缀为对应资源池,可在容器镜像控制台查看,如武汉41,则修改{imagerepo}为registryvpccrswuhan41.cnspinternal.ctyun.cn。 2. namespace: 要和界面选择的一致。 3. 已经支持的资源池有华北2,武汉41,杭州7。 GPU模板 xml apiVersion: apps/v1 kind: Deployment metadata: name: deepseek spec: replicas: 1 selector: matchLabels: app: deepseek template: metadata: labels: app: deepseek spec: containers: name: deepseek image: {imagerepo}/opensource/openwebuideepseekr1:7b
来自: