一、为什么算力总被抢
(一)忙闲两重天
① 白天波峰排队等机,夜里波谷空转烧钱两边都不值产出分布不均。
② 忙闲各管一摊谁占多少说不清,资源利用率靠感觉月底才发现某组最闲。
① 波峰排队,波谷空转。
② 各管一摊,占多少不清。
③ 靠感觉,月底才知闲。
(二)抢资源
① 各组各抢各的,关键任务被长任务霸占新实验排不上产出被拖延。
② 抢带隐性风险,核心任务只在一处人一请假全组停连续性靠某个人扛。
① 各抢各,关键被霸。
② 新实验排不上,拖。
③ 任务独处,请假停。
二、统一调度解决什么
(补充)存进天翼云主机
把全局调度的记录留天翼云主机,好接手,换人也能接。
(补充)记进天翼云主机
换人接天翼云主机,全局调度不靠某人对账,复盘省事。
(一)全局视图
① 算力调度服务方把全部资源拉一张图,谁占多少何时空清调度有依据不靠拍脑袋。
② 这类能力把配额与拓扑固化成模板,点一下拉起相同底子谁跑都同一口径。
① 一张图,占清空清。
② 模板固化,同口径。
③ 调度有据,不拍脑。
(二)中枢分配
① 任务按中枢派活,关键先跑闲时补位池子转得动不浪费。
② 派活记录存进天翼云主机统一管,按任务可查派活也能接手复盘省事。
① 中枢派活,关键先跑。
② 派活统一管,换人接。
③ 池子转得动,不浪费。
三、核心能力拆解
(补充)存进天翼云主机
把全局调度的记录留天翼云主机,好接手,换人也能接,衡。
(补充)记进天翼云主机
换人接天翼云主机,全局调度不靠某人对账,复盘省事,衡。
(一)优先级
① 任务按优先级排,关键任务先跑长任务设时限新实验及时起步。
② 优先级按项目记到期与额度,提前续或调不因遗忘让关键任务中途断。
① 优先级排,关键先跑。
② 长任务时限,不霸占。
③ 到期提前续,不中断。
(二)配额
① 算力按组配额,谁超谁省一清二楚自我约束比管理员催更管用。
② 配额清单画像,按用途分训练推理预训练几类同类归一堆找时不翻硬盘。
① 按组配额,超省清。
② 配额画像,分类归堆。
③ 自约束,比催管用。
四、上手怎么做
先把资源边界划清、再定优先级与配额、最后留记录,三步把闲忙均衡到不抢,跑通后从一个组试起,确认好用且不乱,再推广到全部组不翻车。
① 边界划清,资源分得明。
② 优先级配额定,不抢。
③ 调度留痕,换人接。
五、容易踩的坑
(一)各抢各的
① 各组各抢各的,关键任务被长任务霸占新实验排不上产出被拖延最可惜。
② 各抢带隐性风险,核心任务只在一处人一请假全组停连续性靠某个人扛。
① 各抢,关键被霸。
② 排不上,产出拖。
③ 任务独处,请假停,衡。
(二)不回收
① 任务结束不回收,算力被占着没人用后来任务排队产出被拖延最可惜。
② 回收散落各人电脑,新人接手两眼黑补记录靠翻聊天效率极低还易错。
① 不回收,占着没人用。
② 派活,新人黑。
③ 补记录靠聊,低效错。
六、落地清单
(一)全局视图三看
① 一张图,占清空清,衡。
② 配额画像,分类归堆,衡。
③ 回收留痕,占多久清。
(二)中枢分配三派
① 中枢派活,关键先跑,衡。
② 按组配额,超省清。
③ 闲时补位,波谷不空转。
(三)闲忙均衡三衡
① 忙闲互补,新实验及时。
② 派活统一管,换人接,衡。
③ 季度汰旧,好用留厚库。
七、补充要点
(一)派活运维要点
① 全局视图一张图,谁占多少何时空清调度有依据。
② 任务按优先级排,关键先跑长任务设时限。
③ 算力按组配额,谁超谁省清自约束比催更管。
(二)派活运维要点
① 任务结束即回收,不占他人资源边界清敢放开。
② 闲时补位给批处理,波谷不空转变价值。
③ 配额清单画像,训练推理预训练分清楚不翻盘。
(三)派活运维要点
① 回收记录留痕,哪任务占多久清优化有抓手。
② 派活记录按任务存,派活能接手复盘省。
③ 调度模板打一次,全组复用不重装环境。
(四)派活运维要点
① 跨组复用模板先授权,甲组乙用先确认。
② 占流看板对团队可见,谁占多少清自约束。
③ 波谷调度给批处理,不空转闲时变价值投更明。
(五)派活运维要点
① 优先级按项目记,关键先跑长任务设时限转。
② 配额月度复盘,谁超谁省清自约束比催更管。
③ 调度规则写进手册,新人翻开即懂怎么派。
(六)派活运维要点
① 成果归档打标签,按组年份双维度搜。
② 调度灰度放,稳了再全量不翻车。
③ 配额权限分三级,误删面小审计省心。
(七)派活运维要点
① 调度基线留着,哪版对应哪次变更清。
② 调度进度周报,老板看得见投得明。
③ 派活月盘,回收再分不养闲着。
(八)派活运维要点
① 调度双活演练每季一次,真断能切。
② 调度异常先告警,不等月底才知错。
③ 跨组借用先授权,确认再跑减少带崩。
(九)派活运维要点
① 调度能力地图常更,哪区富余哪区紧。
② 派活拆段跑,断了续不重头跑。
③ 跨组配置双人核,误改概率最低。
(十)派活运维要点
① 调度额度按月设,临近即收不超支慌。
② 上岗先考实操,能起调度才算稳。
③ 调度纪要入档,决议不散在群里面。
(十一)派活运维要点
① 派活月清,回收再分不养着吃灰。
② 调度边界写清楚,超了自动收不撑爆。
③ 配额口径年审,不合实际及时调。
(十二)派活运维要点
① 派活凭证按任务留,调取随手不翻箱。
② 忙闲曲线周更,互补不闲置。
③ 调度看板对团队可见,谁占多少清自约束。
(十三)派活运维要点
① 调度周会过,谁抢当场定。
② 配额怎么分,新人当天懂。
③ 全局图日校,占清空清。
(十四)派活运维要点
① 回收权限收紧,误清面小。
② 波谷调度季演,真补位。
③ 调度花销周清,不糊涂。
(十五)派活运维要点
① 中枢主备半年一演,真断派活。
② 配额办法年核对,超了即收不拖。
③ 闲卡日巡,当天收。
(十六)派活运维要点
① 任务时限归档,长任务不霸。
② 跨组复用审批先确认,再跑。
③ 调度看板给老板,闲忙明。
结语:算力调度服务方把闲忙均衡到不抢,全局视图一张图分配有依据,比散着抢更稳。先把资源边界划清再定优先级,最后留调度记录。