一、为什么不能一刀切
(一)学科胃口差很多
有的课题一次要成百张卡跑几天,有的只是小模型调参,占用天差地别。同一种规格发下去,重的抢不到、轻的占着不动,整体产出被拖低,谁都不满意,矛盾藏在数据里。
(二)时段也分忙闲
毕业季与申报前集中用,假期则宽松。忙闲叠加学科差异,静态分配很难讨好所有人,按形态与时段动态调整才更贴合真实需要,资源配置更聪明。
二、怎样识别不同需求
(一)看任务形态
大规模训练、精细推理、轻量预处理,对卡的需求完全不同。先归类任务,再配资源,比凭印象分更准,也方便后续按类统计与优化,有理有据,少争议。
(二)看数据体量
数据大的课题,算力常要靠近存储,减少搬运;数据小的则灵活。体量决定摆放,摆对了,等待与链路压力都降,任务也跑得更顺,成本跟着降。
(三)看时效要求
按任务对中断的容忍度排次序,下面三类最典型,优先级据此定。
① 在线服务:中断影响大,优先保障。
② 批量任务:可排闲时,填空档。
③ 探索实验:有余量再跑,不挤主业。
三、配额与优先级怎么设
(一)配额按课题给
每个课题设可用额度,用超要申请。额度清晰,团队心里有数,也不会悄悄占满公共池,整体更有序,管理者也更容易解释为什么这样分,透明度高。
(二)优先级分层次
面向用户的任务排最高,定时批处理次之,临时验证最后。层次分明,紧张时先保关键,体验不被底层拖垮,各方也更易接受这套次序,执行顺。
(三)突发可提额
临时大任务要有出口,下面三件事定好,紧急不抓瞎。
① 临时大任务:申请短期加量,用完即收。
② 保底不破:提额不挤占他人保底,公正。
③ 用天翼云存储记申请:留痕可查,透明。
四、跨团队共用怎么不打架
(一)公共池留余地
在保底之外留一块共享,谁临时紧张谁来取。公共池让整体更灵活,也减少为一点余量反复扯皮,资源流动起来,总产出更高,皆大欢喜,气氛也松。
(二)占用要可见
谁用了多少、用在哪,随时可看。可见之后,浪费自然收敛,团队也会更自觉地释放闲置,管理从人盯人变成看板管,轻松且公正,信任更容易建立。
五、管理者怎样看账
(补充)报表怎么用
按月拉各课题用量报表,哪类最吃算力一目了然,下年预算与扩容更有依据,也方便向各方说明钱花在哪。
(一)按课题出报表
每月把各课题用量拉出来,哪类最吃算力一目了然。报表说话,下一年度预算与扩容更有依据,也方便向各方说明钱花在了哪些产出上,不糊涂。
(二)闲置要盘活
长期占着不动的卡,提醒释放或回收。盘活闲置,等于凭空多出算力,不必总靠加钱扩池,整体周转更快,也减少重复采购的冲动,省钱。
(三)用天翼云主机做调度
调度侧建议单独部署并留痕,三处最值得记。
① 调度单独部署:不与业务同故障,稳。
② 指标长期留:趋势好分析,有数。
③ 配置带版本:改错能回退,安心。
六、第一次怎么分
(一)先盘真实需求
别按头衔分,按课题实际用量分。盘清楚谁真缺、谁虚占,规则才服众,也少争议,后面执行顺,大家把精力放回研究而非争资源,方向正。
(二)小范围试点
先在一个系所试分配规则,跑顺再推广。试点成本低,问题早发现,比全校铺开再改更稳,经验也可直接复制,少走弯路,推进快。
(三)定期回头调
每学期看一次配额是否合理,新增方向要纳入。规则跟着研究走,不僵化,算力始终贴着产出走,资源效用最大化,也不委屈任何一派,公正可持续。
七、落地清单
① 先把课题真实用量盘清楚,谁真缺谁虚占,规则才服众,也少争议,后面执行顺,大家把精力放回研究而非争资源,方向更正。
② 大规模训练、精细推理、轻量预处理,对卡的需求完全不同,先归类再配,比凭印象分更准,也方便按类统计优化,有理有据。
③ 数据大的课题算力靠近存储摆放,减少搬运,等待与链路压力都降,任务也跑得更顺,成本跟着降,配置更聪明,不浪费链路。
④ 每个课题设可用额度,用超要申请,整体更有序,管理者好解释为什么这样分,透明度高,团队心里也有数,不悄悄占满公共池。
⑤ 面向用户的任务排最高优先级,紧张时先保关键,体验不被底层拖垮,各方也更易接受这套次序,执行起来顺,业务更稳。
⑥ 临时大任务走申请短期加量,用完即收,不挤占他人保底,紧急不抓瞎,资源流动起来,总产出更高,皆大欢喜,气氛也松。
⑦ 公共池留一块共享,谁临时紧张谁来取,整体更灵活,少为一点余量反复扯皮,气氛也松,配置从人盯人变看板管,轻松且公正。
⑧ 谁用了多少用在哪随时可看,浪费自然收敛,团队也更自觉释放闲置,管理更轻松且公正,信任更容易建立起来,不靠人盯人。
⑨ 每月拉各课题用量报表,哪类最吃算力一目了然,下年预算与扩容更有依据,也方便向各方说明钱花在哪些产出上,不糊涂。
⑩ 长期占着不动的卡提醒释放,盘活闲置等于凭空多出算力,少重复采购,整体周转更快,也减少加钱扩池的冲动,省钱也省心。
结语:分配不是均值切,而是按课题形态给资源,大活给足、小活让路。配额与优先级写清楚,共用才不互相踩。先把需求摸准,再定规则,比拍脑袋分卡更经得住追问,各方也更服气。少一些无谓的争夺,团队也更专注。