一、从"租算力"到"用 Token"的计量方式变化

（一）Token 是什么

Token（词元）​ 是大模型处理文本的基本单位。一段文字进入模型之前，会先被切分成若干 Token；模型生成的回答，同样以 Token 为单位逐段产出。因此 Token 既是计算的输入输出单位，也是衡量调用量的天然标尺。

理解 Token 有一个直观类比：它像计件工资里的"件"。无论工人是谁、机器多快，最终结算看的是完成了多少件。Token 服务把算力这种难以直接比较的资源，转换成了一种可以直接计量、直接定价的单位。

（二）为什么 Token 成为计量单位

传统上，算力以"卡时"或"核时"计量。这种计量方式有一个明显缺陷：同样一小时，跑不同的模型、不同的批量、不同的优化程度，产出的有效结果可能相差数倍。使用者为"时间"付费，却无法判断自己买到的是效率还是浪费。

Token 计量改变了这一点。它直接对应"产出了多少可用的智能结果"，把评价标准从"占用了多少资源"转向"交付了多少价值"。这也是行业正在发生的一个深层变化：算力网的效能评价，正从简单的利用率指标，向 Token 有效产能转变。

（三）行业背景：Token 经济正在形成

随着大模型应用普及，Token 的调用量快速增长，围绕 Token 的生产、流通、结算与治理，逐渐形成一套新的经济形态——业界称之为 Token 经济。

在这一形态下，产业链的分工更清晰：底层提供算力，中层生产 Token，上层消费 Token 构建应用。而连接三者的，是一个能够统一接入、统一调度、统一计量的服务平台。

二、读懂 Token 服务的几个关键名词

（一）Token 与词元

Token 在中文语境中常译作"词元"。它不是"字"，也不是"词"，而是模型分词器切分出的最小处理单元。一个汉字可能对应一个或多个 Token，英文单词也可能被拆成若干片段。因此评估调用成本时，看 Token 数比看字数更准确。

（二）推理服务

推理指模型对一次请求给出结果的计算过程。​推理服务是把这一过程封装成可被调用的服务形态，包含模型加载、请求接收、批量调度、结果返回与状态监控。

Token 服务是推理服务的一种计量化表达：它不只提供"能调用"的能力，还提供"调用多少、值多少"的账目。

（三）模型路由

模型路由指根据请求特征，把请求分发到不同的模型上处理。不同的任务对能力的要求不同：简单的分类判断用轻量模型即可，复杂的推理任务才需要更强的模型。路由做得好，可以在保证效果的前提下显著降低成本。

（四）TPM 与 RPM

TPM（每分钟 Token 数）​ 与 RPM（每分钟请求数）​ 是限流控制的两个常用阈值。它们的作用是防止单一调用方占满资源，保障整体服务的稳定性。此外还常用 QPS（每秒查询数）​ 作为瞬时并发上限。

（五）按质定价

传统计价按"量"计算，按质定价则引入质量维度：根据首字响应时间、每 Token 输出时间、服务稳定性、能源结构等指标分级定价。这使得"更快的响应""更稳的服务"可以对应不同的价格档位，让成本与体验的匹配更精细。

（六）资源隔离

资源隔离指不同用户或不同业务的计算资源相互独立。它是多租户场景的安全基础，也是高合规行业的准入前提。在 Token 服务中，隔离通常体现在专属推理环境、数据隔离与业务隔离三个层面。

三、天翼云息壤Token服务的体系构成

（一）星辰 TokenHub 运营服务平台

星辰 TokenHub 是中国电信 Token 经营体系的统一服务平台，也是天翼云面向 Token 推理场景打造的一站式服务平台。

平台依托息壤的 Triless 架构，为用户提供开源大模型的在线推理能力，并实现多款主流开源大模型的聚合。面向政务、教育、内容创作等全行业，平台提供统一标准化的 Token 服务，使用者无需关心底层复杂的技术细节，即可获得稳定、高效、安全的推理能力。

平台具备在线推理与预置服务功能，支持用户便捷地查看并启用各类模型服务，把大模型能力快速集成到业务之中。

（二）息壤扮演的底座角色

在 Token 服务体系中，息壤一体化智算服务平台扮演"底座"角色：向上承接星辰 TokenHub 等模型服务平台，向下纳管广泛分布的智能算力。

它通过 Triless 架构实现资源、框架与工具的无关性——资源无关让用户以任务方式使用算力而无需感知硬件差异；框架无关让一个模型可在多种框架下运行；工具无关让工具链被封装为流水线。三者叠加，使上层服务可以专注于"提供什么"，而不必反复处理"适配什么"。

在技术层面，息壤的三大能力构成了 Token 服务的支撑：算力加速层面支持多种主流异构算力芯片并通过软硬协同提升效率；训练推理层面提供断点续训与故障动态感知，实现分钟级的检测、定位与恢复；算网调度层面突破算网融合调度技术，采用层级分治映射算法，真正做到"数随算走"。

（三）"国模+国芯+国云"的融合底座

天翼云息壤 Token 服务构建在"国模+国芯+国云"的融合底座之上：

① 国模方面，平台既支持中国电信自研的星辰语义大模型，也广泛汇聚主流大模型，覆盖全模态、全尺寸的能力谱系；

② 国芯方面，依托自主可控的算力芯片生态，强化全栈国产化技术能力，为关键信息基础设施提供安全可信的算力保障；

③ 国云方面，凭借泛在覆盖的云边协同算力与深入属地的服务体系，让 Token 服务能够下沉到更广域的用户身边。

四、三项核心能力

针对使用者在 Token 消费中面临的四个共性痛点——模型选择难、成本控制难、接入计费复杂、安全顾虑多，平台形成了三项针对性能力。

（一）模型智能路由：解决"选模型难"

平台已具备三级路由智能匹配能力：

① 接入层，依托边缘节点实现就近接入与极速响应，把网络距离带来的时延压到更低；

② 调度层，精准识别用户意图，为具体应用场景自动匹配更合适的模型；

③ 服务层，支持秒级故障切换与跨模型负载均衡，保障服务连续性。

三级路由的价值在于把"选型"这件事从人工判断变成系统决策。业务方不必在十几个模型之间反复对比测试，平台会根据任务特征自动给出匹配。

（二）Token 统一计量：解决"算不清账"

平台实现了 Token 的一站式通兑结算，建立统一度量衡：

① 统一计量，一套接入凭证适配多模型接口，各类调用量统一归集；

② 按质定价，根据首字响应时间、输出速度、稳定性、能源结构等多维指标分级定价；

③ 额度管理，支持 Token 额度的分配与回收，配合分级权限管理与预算锁定。

这三项能力共同解决了组织内部的一个现实问题：当多个部门共用一套智能能力时，如何说清"谁用了多少、该分摊多少"。统一计量让成本可归属，价值可度量。

（三）可信 Token 专区：解决"不敢用"

面向对安全合规有更高要求的行业，平台提供专属服务形态：

① 独立环境，专属推理环境，资源、数据与业务全隔离；

② 国产适配，推理框架与芯片全面国产化，实现自主可控；

③ 全链路防护，覆盖接入、网络、数据、内容四个环节，形成一套完整的安全体系；

④ 智能决策分流，在保障安全的前提下兼顾效率。

对政务、金融等场景而言，这些能力决定了"能不能用"，而不是"好不好用"。

五、Token 生产效率从何而来

Token 的成本，取决于单位算力能产出多少有效 Token。天翼云在这一环节突破了三个层面的关键技术：

（一）基础软硬件层面

突破自研智算网络、智能分级存储与机密计算技术，大幅压降硬件资源成本。硬件成本是 Token 成本的底层构成，这一层的优化会等比传递到每一百万 Token 的价格上。

（二）推理引擎层面

突破多层次量化、投机解码、稀疏注意力机制等技术，提升国产化推理环境下的 Token 效能与质量。

这三项技术各有分工：量化降低单次计算的资源消耗；投机解码通过"小模型起草、大模型校验"的方式减少大模型的实际计算步数；稀疏注意力则利用注意力分布的稀疏特性，跳过对结果影响微弱的计算。

（三）集群调度层面

攻克大规模专家并行、多级缓存及缓存亲和、动态 PD 分离等技术，提高整体推理效率。

其中动态 PD 分离指的是把推理的"预填充"阶段与"解码"阶段拆开调度：前者计算密集，后者访存密集，混在一起会相互拖累。分开调度后，两类资源各自跑在最适合的硬件上，整体吞吐显著提升。​缓存亲和则让请求尽量落到已缓存其上下文的实例上，减少重复计算。

（四）评价标准的转向

这三层技术突破共同指向一个结果：基于国产算力的 Token 生产成本大幅下降，性能显著提升。而更值得关注的是评价标准的转向——算力网的效能不再只看"利用率数字"，而看"有效 Token 产能"。这是一个从过程指标到结果指标的转变。

六、平台功能的全链路覆盖

从接入到治理，平台的功能覆盖了 Token 使用的完整生命周期。

（一）接入与鉴权

平台初期开放四类接口能力：文本与代码生成、文本与代码补全、视频理解、视频生成，并随技术迭代动态扩展。

鉴权采用统一机制：用户开通 Token 资源后，在服务接入模块创建服务组即可生成接入密钥。基于密钥实现调用身份认证与权限校验，所有请求均需通过鉴权后方可执行。密钥支持按业务需求创建、禁用与删除，并可为不同密钥配置不同权限，实现按业务线、按应用场景的维度隔离。

（二）调用管理

限流控制支持设置单接口或单模型的 TPM、RPM、QPS 上限，对超过阈值的请求自动拒绝，保障系统稳定性与资源合理分配。

多版本并存支持同一模型的多个版本同时在线提供服务，用户可按需切换，保障业务升级的平滑过渡与兼容性。

（三）运营管理

平台提供实时 QPS、成功率、延迟、计量消耗等统计数据，支持对异常指标自动触发告警；同时支持按时间、按模型、按密钥三个维度查询调用明细，便于对账与运营分析。

（四）计量与成本控制

每次调用返回实际消耗的 Token 数量，并支持输入、输出与缓存命中分别统计。成本控制功能支持设置单接口或单模型的消费上限，超过阈值可自动拒绝请求或触发告警。

细粒度统计的意义在于定位浪费。当发现"输入 Token 占比过高"，说明提示词需要精简；当"缓存命中率偏低"，说明上下文复用策略有优化空间。

（五）内容安全

平台在调用链路上设置了多层防护：传输加密与权限隔离保障数据安全；对请求内容进行前置审核，违规输入自动拦截；对请求中可能包含的个人隐私信息进行识别，可选择脱敏处理或直接拒绝。

这一层能力对企业客户尤为重要——内容安全的责任无法完全转移给模型本身，必须在服务链路上兜住。

七、典型应用场景

（一）政务场景

政务应用的典型需求是政策咨询问答、办事引导、材料预审。这类场景对内容准确性、数据安全性要求高，通常需要运行在专属环境中。可信 Token 专区提供的全链路防护与国产化适配，正是为此设计。

（二）教育场景

教育场景包括智能备课、作业批改辅助、教学资源生成。使用特点是学期内集中、假期内清淡，用量波动明显。Token 计量模式让学校可以按实际使用量归集成本，不必为峰值长期预留资源。

（三）内容创作

文案生成、图像生成、音视频创作等场景，调用量随创作需求波动。按生成量结算，比长期保留推理资源更贴近真实使用。对创作团队而言，成本可以按项目归集，便于核算投入产出。

（四）金融与工业

金融场景可用于报告生成、材料审核、合规文档处理；工业场景可用于工艺文档问答、运维知识检索。这些场景的共同要求是数据不出域、调用可追溯、成本可归属——恰好对应可信专区、调用明细与统一计量三项能力。

（五）中小企业与开发者

对研发力量有限的团队，Token 服务提供了一条低门槛路径：先从在线体验开始，验证模型效果与场景价值；再创建服务组获取接入密钥、取得模型标识；最后按接口文档完成集成。整个过程不需要申请算力、部署集群、配置推理引擎。

八、能力认可与生态

"息壤"作为天翼云自主研发的代表性成果，入选"2022年度央企十大超级工程"，荣获中国算力大会"算力中国·年度突破成果"奖项，获评数字中国建设峰会"十大硬核科技"，入选国有企业数字化转型论坛"典型数字技术成果"；依托以"息壤"为核心的一体化智算服务体系，天翼云荣获世界互联网大会"杰出贡献奖"，相关智算基础设施项目荣获中国电子学会科技进步奖。

在平台能力评估方面，"息壤"一站式智算服务平台在模型管理、模型开发、模型训练、模型推理、资源调度、性能等多个能力领域、数十个测试项中全部通过，以"卓越级"能力通过评估。

在生态层面，天翼云秉持开放共生的理念，在算力、模型、应用、渠道等方面与众多伙伴和开发者开展广泛合作。多家模型企业的旗舰模型已完成与息壤国产算力及分布式推理网络的适配，双方把模型接入、算力调度、安全审计与成本管控整合至统一服务体系，政企客户和开发者通过一个标准接口即可完成调用。

九、结语：让智能能力可以被度量、被管理

Token 服务的意义，不只是一次计费方式的调整。它把"智能"这件原本难以量化的事，变成了可以被度量、被比较、被管理的对象。

这带来三个层面的变化。对使用者而言，投入与产出第一次有了清晰的对应关系——花出去的每一份成本，都能追到具体的调用与结果。​对组织而言，智能能力可以像水电一样按部门分摊、按项目核算，从"技术部门的开销"变成"业务部门的成本"。​对产业而言，统一的计量单位让模型之间有了可比较的尺度，竞争从"参数规模"转向"单位 Token 的价值"。

当然，计量只是起点。真正决定 Token 服务价值的，是它背后能否持续降低单位成本、提升单位质量。这需要算力底座的持续优化，需要推理引擎的持续突破，也需要调度能力的持续精细化。

当智能能力像电力一样可计量、可调度、可结算，它才真正成为一种基础设施。而基础设施的标志，从来不是"技术多先进"，而是"用起来多自然"。