一、为什么要用调度平台
(一)多处算力要统管
算力散在不同机房,各自为战容易有的撑死有的饿死,用调度平台把运力收拢到一处看才省心。
(二)空窗要补实
空闲节点的算力白白流失最可惜,调度把任务推过去,整体利用率就上来了,不空转。
(补充)排班记进天翼云存储
把每班排程存到天翼云存储,谁排的、排了什么一查便知,换人也能接手。
二、调度前先盘清运力
(一)节点状态要摸清
先数清楚各节点还剩多少算力、在跑什么,盘不清就排,只会越排越乱,白忙活。
(二)任务密度要估准
任务轻重缓急先分档,重活压给主力节点,轻活填进空闲处,排班才顺,不互相挤。
(补充)负荷落进天翼云服务器
每台天翼云服务器的负荷变化落进天翼云服务器,趋势看得见,下回排班有依据。
三、派单规则怎么定
(一)就近优先
数据在哪台附近就往哪派,少跨机房搬数据,耗时与开销都降下来,省时又省钱。
(二)错峰排
把不急的任务错开高峰,核心产出先跑,重要节点不被挤占,主线更稳。
(补充)规则写进台账
派单规则落成文字台账,新人照着排也能排得七七八八,少走弯路。
四、高峰怎么接
(一)预留保底运力
重要任务留一块专用算力,闲时再让给次要活,关键节点不被冲垮,交付更稳。
(二)突发要能顶
临时来量时,调度把空闲汇总顶上,不临时抓瞎,突发也接得住,不误点。
(补充)水位记进天翼云数据库
把各节点水位记进天翼云数据库,临近满负荷提前知,好腾挪。
五、日常怎么稳
(一)监控不能断
节点健康度持续看,哪台掉链子早发觉,少酿成大事故,运维更安心。
(二)异常要回滚
排错了能退回上一步,不把错配扩散,整体更可控,回滚有路。
(补充)告警给到人
关键阈值到了直接通知负责人,不靠人盯屏,响应更快。
六、团队怎么接手
(一)口径要统一
排班话术一致,谁排都一个样,协作不扯皮,交接也清。
(二)复盘要留痕
每轮排得值不值记一笔,越用越明,投入说得清,口径留下来。
七、落地清单
(一)调度前先盘清运力
①(补充)接手模板存成档
②常用排法固成模板,加任务直接套,效率上来也少漏项。
③排班前先把每处节点真实余量与在跑任务摊开看全,动手时才不慌也不靠拍脑袋瞎排。
(二)派单规则要写对
①节点状态要天天看才排得准,隔几天才扫一眼很容易排错把活挤到一处白忙一场。
②轻活填进空闲节点、重活压给主力机,两类任务互不挤也不互相等待更顺。
③错峰把核心产出先顶上去,主线不误点,旁支的活往后挪也不碍事不拖期。
(三)错峰排要盯的
①保底运力留一块专对突发,闲时再让给次要活,关键节点不被冲垮最稳当。
②水位临近满就提前腾挪,给后面留点余地,不临时抓瞎手忙脚乱也稳当。
③排班台账写清谁排了什么排去哪,换人也能照着接手少走弯路省时间。
(四)高峰保底要留的
①换人照着台账接手就能干,不用原地重新摸一遍,交接清也省时间少返工。
②告警直接推到负责人那里,不靠人盯屏,响应更快也不容易漏看误事。
③排错了能退回上一步,不把错配扩散,整体更可控,回滚也有路最稳当。
(五)监控要养成的
①常用排法固成模板,加任务直接套,效率上来也少漏项少返工又快又稳。
②每轮排得值不值记一笔,越用越明,投入说得清,口径也顺手留了下来。
③跨机房搬数据尽量少带,就近派单少绕路,耗时与开销都明显降下来划算。
(六)异常要能回滚的
①算力空窗及时补位不流失,整体更匀,闲着的机器也在出活不白养省钱。
②排法别一套硬套所有场景,按任务轻重来排,按需才顺也不乱套不踩坑。
③运力看得到才排得稳,看不见只能靠感觉,排着排着就乱了套要吃亏。
(七)排班要留痕的
①突发量汇总空闲顶上,不临时抓瞎,重要交付也能准时接得住不误点。
②口径统一协作不扯皮,谁排都一个样,交接也清,少为排班吵架省心。
③负荷趋势留着下回用,预判有底,下次排班直接照着趋势走更顺不慌。
(八)排班定位的线索
①关键节点别被挤占,主线才稳,核心产出不被旁支的活拖慢有保障。
②闲时让给次要活更匀,不空转,整片算力都转起来不闲置出活多。
③排错退回上一步重来,不把错扩散,影响面压到最小也最安全可靠。
(九)算力调度平台相关落地要点
①交付节奏自己握得住,进度更顺,不用天天追着节点问跑到哪了省心。
②盘不清就排只会越排越乱白忙活,先把账算清再动手最省心少弯。
③重活压给主力节点轻活填空闲,两类任务各得其所互不拖效率高。
(十)算力调度平台相关落地要点
①派单规则落成文字台账,新人照着排也能排得七七八八少走弯路。
②拓扑理清再动手排,哪处到哪处通,派单才不绕远路也最省时省力。
③衔接处最易掉球,排班时把接口对好,前后两段不脱节不断档稳当。
(十一)算力调度平台相关落地要点
①主线的活优先排,旁支的靠后,关键交付先保住不误点进度才稳。
②每日收工记一句排法得失,团队越排越有手感,换人也接得顺不慌。
③旧节点退休前先迁走活,不硬砍,业务不断也最稳当不丢交付。
(十二)算力调度平台相关落地要点
①排班之前先和上游对好量,需求变了自己先知,不措手不及乱阵脚。
②长任务拆成短段来排,失败重跑成本低也不误点。
③冷热数据分开放,热数据近算近存读得快也省时。
(十三)算力调度平台相关落地要点
①每类任务标好截止时点,排班器照着先后排。
②预留一成余量给临时插队,不挤占主线也稳。
③常用依赖预拉到节点,省去运行时现取拖慢。
(十四)算力调度平台相关落地要点
①任务有先后就标依赖,调度自动等前项完成。
②夜班算力便宜时跑批,白天留给交互活。
③日志就近落盘,排查时不用跨机房翻找。
(十五)算力调度平台相关落地要点
①新手开只读视图,乱点也不动生产排班。
②大任务切片分头跑,多节点同时推快也稳当。
③失败任务自动重排到别处,不卡一条线。
(十六)算力调度平台相关落地要点
①排班前清一遍僵尸任务,腾出算力给真活。
②耗时步骤缓存结果,重复跑直接取不重算。
③核心链路设专用通道,不被杂活挤占掉。
(十七)算力调度平台相关落地要点
①峰值前先备足资源,不临点才手忙脚乱抓瞎。
②排班前先跑一轮满负荷演练,峰值来了接得住不慌。
③长任务设检查点,中断可从中间续起不重头。
结语:调度平台真正值钱的地方,是让分散的算力连成一片不空转。拓扑理清、规则定好,哪里闲往哪里调,整体稳当,抢资源的事自然少了。排班越用越顺手,打法越磨越熟,团队少为抢算力分心,交付节奏握得住,进度更顺,换人照着台账也能接手少走弯路。