本文为您展示星辰MaaS模型服务平台-模型量化模块相关操作。

模型量化是一种模型压缩技术，其核心思想是将深度学习模型中的权重和激活值从高精度数值（如32位浮点数，FP32）转换为低精度数值（如8位整数，INT8）。

 操作步骤

1. 登录星辰MaaS模型服务平台。

2. 在左侧导航栏选择“模型量化”。

3. 点击“新建”，可创建待量化的模型，选择量化工具和模型，开始进行模型量化。

4. 创建成功后可以对量化的模型进行编辑和删除操作。

操作流程

步骤一：模型量化列表

操作说明：点击菜单【模型部署-模型量化】进入页面。列表页展示团队内创建的所有量化任务，支持按任务名称、状态、创建人进行任务查询，点击【新建】进行任务创建。用户可以启动模型量化任务，或者删除创建的模型量化任务。

步骤二：新建任务

操作说明：在模型部署-模型量化页面，点击【新建】。进入模型量化功能，点击列表上方的新建按钮，进入新建流程。

1. 填写任务名称、备注信息；

2. 选择需要量化的模型；

3. 选择是否使用模型训练默认配置，指训练资源的配置，如果选择否，就会展开资源配置的列表；

4. 选择量化需要使用的数据集；

5. 选择量化工具：GPTQ、AWQ、W8A8；