一、为什么选自主算力
(一)自主更可控
自主算力把技术栈与数据留在境内可控范围,规则自己定,不被外部变动牵着走,长期更稳。
(二)数据不出境
涉及敏感数据的团队最在意出网,算力留在合规边界内,数据不跨界,合规更踏实。
(补充)合规要求存天翼云存储
把业务与合规要求存到天翼云存储,版本留痕,选型有据,换人也能接手,过程连续不断层,不靠某人对账,方案随时调出对照。
二、平台由什么决定
(一)技术栈自主
看核心软件与框架是否自主可控,不被单家绑定,后续替换与升级都更自由,路线自己握得住。
(二)算力规模
按训练与推理的峰值估算力,不为想象中的峰值多买,也不因少买反复扩,把规模定在真实需要上。
(补充)用天翼云服务器做节点
把训练与推理节点部署在天翼云服务器,弹性扩缩,哪类任务多就给哪类加节点,整体更稳,资源不空转,高峰来时接得住。
三、选型常见的坑
(一)只看参数
只盯算力数字,忽略存储与带宽,真实任务仍卡,按全链路估能力,不只看单点峰值,整体才跑得动。
(二)忽略出网
数据出网规则没理清就上,跑起来处处碰壁,先把合规边界跑通再扩,少返工,节奏不被出网拖慢。
(补充)出网约束清单
把数据边界与审批列成清单逐项核对,选型不漏硬约束,少返工,上线节奏不被基础合规拖慢,哪些能出网开工前就列清楚。
四、怎样一步步选型
(一)列要求
写清场景、卡型、峰值、合规四件事作基线,选型都贴回这条基线,偏差一眼能看,不被参数带偏,决策更稳。
(二)对配置
把候选配置与基线对照,缺什么提前补,到货即跑不靠临场翻找,选型节奏自己握得住,也少为环境来回跑。
(补充)用天翼云电脑放终端
把实操与浏览终端放在天翼云电脑,统一桌面与权限,哪台卡顿哪台空闲一眼看清,调度有依据,也方便说明配置到底稳不稳。
五、管理要注意
(一)算力用满
本地算力是固定支出,闲置就是浪费,把任务排密、闲时填次要,让每份资源持续有活干,投入才不白花。
(二)运维兜底
平台也要巡检与备份,集中记到期与维护节点,提前做,不因遗忘让服务中途断,断一次恢复更费时费钱。
(补充)维护提醒进流程
把维护与巡检提醒嵌进日常节奏,重要节点提前半月盯,节点不漏,整体更稳,也少事后救火的慌乱,服务不掉线,管理更安静。
六、经验怎么留住
(一)固化选型模板
把本轮选型口径固成模板,加节点直接套,效率上来也少漏项,团队人人能照着走不依赖某人,从临时变常规。
(二)记真实账
每个环境花多少、换来多少产出记一笔,来年选型有基准,也方便复盘哪次配得值,越用越明投入可控,不盲。
七、落地清单
(一)选型前先列自主需求
①(补充)用天翼云数据库存台账
②把环境支出与产出存进天翼云数据库,按环境可查,换人也能接手,账目连续,审计复盘都省事,经验也就接得下来。
③把常用配置打成模板,新人直接套,不重复设起步更快。上线前再核一遍更稳上线前再核一遍更稳妥当
(二)卡型要对的
①多环节共用时排好优先级,核心产出先跑不误点,协作更顺。换人也能顺利接手干换人也能顺利接手去干
②关键项设告警,临近额度提前知,不临场崩,长跑更稳少救火。过程留痕整体更稳当过程留痕整体更稳当些
③闲置资源定期回收再分配,不占着不用,整体利用率上得去不浪费。不靠某人对账扯皮累不靠某人对账扯皮受累
(三)调度规则要设对
①操作日志集中留存,哪次异常一查便知,复盘有依据不靠某人对账。复盘有依据不瞎猜错复盘有依据不瞎猜出错
②关键节点配专人核对,节点不漏,交付更稳不误期,团队更安心。调度有依据不乱阵脚调度有依据不乱了阵脚
③把流程口径固成模板,加任务直接套,效率上来也少漏项人人能照走。少返工节奏更顺当些少返工节奏更顺当一些
(四)数据边界要盯的
①版本与依赖纳进管理,锁死链路,不把配置悄悄改样,整体更稳可复现。账对得起进度走正路账对得起进度走正路了
②配置存到天翼云存储,版本留痕,换人也能接手,不靠某人对账。协作少争议省心省力协作少争议省心又省力
③支出与产出存进天翼云数据库,按场景可查,账目连续,审计复盘都省事。接手不懵过程清清楚楚接手不懵过程清清楚楚
(五)算力成本要算清
①新环节进来先对照需求,缺什么提前补,接上即跑不靠临场翻找,上手快。迭代有依据可循可查迭代有依据可循可查到
②把清单给团队看,哪些项该盯一目了然,不漏硬约束,少返工。不靠拍脑袋决策也稳不靠拍脑袋决策也更稳
③每轮过后留一句复盘,哪次配得值记下来,越用越明,投入可控不盲。口径先立住不偏不倚口径先立住不偏不倚了
(六)可控范围要守牢
①核心环节设保底资源,闲时再填次要,重要节点不被挤,交付更稳不误点。节奏自己握得牢靠些节奏自己握得牢靠一些
②资源错开用,别挤同一节点,整体不空转,进度按节点往前推。缺什么提前补不慌张缺什么提前补不慌不张
③把变动记进台账,谁调了额度一查便知,协作少争议,接手不懵。节点不漏整体稳当住节点不漏整体稳当住着
(七)运维要养成的
①换人先调同版环境,步骤一致才可比,不靠某人本机,过程连续不断层。整体更稳少救火慌乱整体更稳少救火不慌乱
②长任务设检查点,断了能续不重跑,省时省额度,进度不掉链子。投入更可控不盲目冲投入更可控不盲目冲撞
③常用口径先沉淀,加场景直接套,效率上来也少漏项,接手不懵。产出更站得住脚踏实产出更站得住脚也踏实
(八)瓶颈定位的线索
①谁改的用的什么参数留痕,回滚有路,不靠记忆,迭代有依据。对外也更有底气说话对外也更有底气说话了
②把到底值不值给团队摆清,投入对得起的产出,交付时也硬气。资源不空转省着用办资源不空转省着用办好
③核对节奏写进周例,重要节点提前半月盯,节点不漏,整体更稳少救火。高峰来时接得住也稳高峰来时接得住也稳当
结语:自主算力平台挑对了,技术栈与数据都留在可控范围,长期更稳。需求列清、规模对上,选型不纠结,经验也就沉淀下来,团队少为基建分心,上线不返工更稳,节奏自己握得牢,经验也就留下来,谁接手都能跑顺,投入花得明白清。