前沿模型推理预算加大致Token消耗不降反增

最新一代前沿AI模型在处理复杂任务时，面临着“Token效率提升但总消耗量激增”的矛盾现象。尽管模型变得更加智能，但由于推理预算的大幅增加，实际运行所需的算力与Token消耗不降反升，这正在重塑行业对算力基础设施的需求预期。

效率提升被推理预算吃掉

据@FinanceYF5转述的信息，像Fable 5和GPT-5.6这样的新一代前沿模型，在“每个Token的智能效率”上确实有所提升。Sam Altman曾指出GPT-5.6的Token效率提升了54%。然而，这些模型在实际的复杂任务或智能体（Agentic）任务中，往往被配置了更大的推理预算。底层模型的高效红利被重新投入到更深度的推理、更长的任务轨迹中，导致单个任务的总计算消耗依然持续上升。

内部算力与Token消耗暴涨

@eliebakouch提供的内部数据直观印证了这一趋势。过去六个月里，研究算力中用于内部编码推理的占比增长了100倍，内部Agentic Token使用量大约增长了22倍。据此推测，单个Token的计算消耗在半年内可能上升了约4倍。这种Token使用密集化的现象表明，前沿AI实验室对更强、更高效的推理基础设施的需求正在以前所未有的速度增长。

2026-07-10 ~ 2026-07-11 · 5 条相关

一手来源