创建评测任务
更新时间 2026-07-02 09:28:18
最近更新时间: 2026-07-02 09:28:18
本章节主要介绍高质量数据集平台如何创建评测任务。
在评测任务管理列表,点击【新建评测任务】按钮,跳转至评测任务新建页面。
本案例以“交通灰度数据集评测”来进行说明;
第一步:维护任务基础信息,包括任务中文名及任务英文名;
注意:任务英文名具有唯一性校验,不要重复;
第二步:维护评测配置
评测对象类型:主要指需要评测的数据集的数据类型,分为图片、音频、视频、文本四种;
评测对象:选择在已选的类型中,需要进行评测的数据集(如类型选择图片,则此处只可选择图片类型的数据集)
评测对象版本:由于数据集有版本概念,所以此处需要选择针对哪个版本进行评测;
评测规则配置:点击【选择评测规则】按钮,右侧弹出规则列表,勾选需要的规则;
点击确定后,选择的规则就会回显到任务配置页面,此时可针对每个规则设置权重。
如图,分值权重为50%,表示该条规则的得分在评测总体得分中占比50%;如图中两条规则权重各为50%,规则得分分别为100分和76分,结合权重后该评测总体得分为100*50%+76*50%=50+38=88分。
红线规则:指用于判定合法性的规则,通常选择合法合规检测类规则,用于拦截含有违法违规样本的数据集,当存在红线规则时,优先判定红线规则是否命中,若红线规则命中,则数据集判定违规,分数为0.
数据集定级配置:根据信通院标准,将数据集评测等级分为L1~L5五个等级,根据规则+权重的综合计算方式,按照分值落位的区间判定该数据集所属的等级。
此处需注意:分值范围所有区间的并集需满足[0,100]。
配置完成后,点击确定,会返回到任务管理列表,点击列表中的执行按钮,开始进行评测;
执行成功后,可在评测报告页面查看评测报告。