全面管理用户从开发、训练到评估完成的模型生命周期,该模块不仅提供模型文件的安全存储功能,还具备精细化的版本管理,确保每一阶段的模型变更都有迹可循。
新建模型及版本
在我的模型菜单页面中,点击【新建模型】,输入模型名称、模型描述以及来源。支持2种来源:
导入至平台存储:上传模式,您可以将本地文件上传至平台提供的共享ZOS空间内,该模式对模型文件有2GB的大小限制;
自有存储挂载(推荐使用):挂载模式,需要您在天翼云官网同资源池下开通自有存储并完成委托授权等前置操作。选择自有存储挂载模式后,可创建的模型大小不再受平台限制,您只需填写已有存储的路径,平台将在任务中自动挂载该路径。目前已支持自有ZOS、自有HPFS、自有其他存储类型,您可在创建版本时切换顶部集群查看该集群下支持的存储类型。其中,
自有ZOS:是指您租户在天翼云官网同资源池下开通的对象存储,用于数据长期存储和备份,完成委托授权后您可在本平台直接使用;
自有HPFS:指租户在天翼云官网同资源池下开通的HPFS存储,常用于大模型的开发和训练等数据密集性的高性能计算场景,完成委托授权后您可在本平台直接使用。训练时需要与文件存储频繁交互,请确保存储状态可用且充足;
自有其他存储:天翼云的集群分为两类:天翼云自建集群、与合作伙伴共营的其他集群,自建集群对应自有存储,其他集群对应其他存储。其他存储便是指其他集群中对应配置的存储。该存储与集群强相关,您在开通相应的集群后平台会自动打通与存储的关联,不需要进行委托授权步骤。
新建模型后,点击模型卡片,进入模型详情页,您可在此处创建版本,版本是具体可操作的对象。
模型来源为导入至平台存储:
模型来源为自有存储挂载:
自有对象存储:您租户账号下的自有ZOS存储。使用自有存储挂载时,需要提前将数据上传至ZOS,若您还未创建,您可点击【去创建】跳转到存储控制台进行创建。
存储桶:选择您自有的ZOS存储桶名称;
数据源路径:您对应存储的具体的目录路径,您可根据提示示例进行填写,平台会对您填写路径的存在性进行校验,若校验不通过会进行提示,并禁止提交。
自有智算存储:您租户账号下的自有HPFS存储。使用自有存储挂载时,需要提前将数据传至HPFS,若您还未创建,您可点击【去创建】跳转到存储控制台进行创建。
HPFS名称:选择您自有并行文件名称;
数据源路径:您对应存储的具体的目录路径,您可根据提示示例进行填写,平台会对您填写路径的存在性进行校验,若校验不通过会进行提示,并禁止提交。
自有其他存储:您租户账号下的自有其他存储。
数据源路径:您对应存储的具体的目录路径,您可根据提示示例进行填写,此项必填。
模型列表
导入的模型可以在我的模型的列表中查看,每个模型可以导入多个版本(训练任务、开发机、模型精调等任务开发出的模型进行保存操作时都会保存在这里)。点击模型卡片,可以查看模型的所有版本。
模型的每个版本都会显示导入状态,比较大的模型导入时间较长。
模型分享与导出
仅来源为导入至平台存储的模型支持此功能。
模型分享
模型列表和模型版本列表中,点击【分享】可生成分享口令,支持模型分享,可将模型在多个账号之间进行共享下载,通过口令可以进行模型导入,参见模型口令导入章节。
账户1要把模型文件分享给账户2,需要账户1在模型列表或版本列表中点击【分享】获得一个分享口令,将分享口令线下给到账户2。
账户2在新建模型中选择【口令导入】,输入账户1给到的分享口令即可完成模型导入。
模型导出
进入模型详情页,在模型版本列表中支持模型导出,可以选择导出到本地,也可以选择导出到天翼云媒体存储中(需要开通天翼云媒体存储的账号才能用)。