长文推理消耗惊人:2.2万 Token 仅生成 3千 字
generativist · x · 2026-08-15
Simon Willison 分享了一次极长推理任务的实测数据。
关键数据:
- 总耗时:近 21 分钟。
- 消耗 Token:使用了 22,276 个推理 Token(Reasoning Tokens),仅生成了 3,223 个输出 Token。
这一数据展示了当前高阶模型在复杂推理任务上的巨大算力开销,推理过程中的“思考”成本远高于最终输出的成本。
「Infra」频道最新
- Meta 选择 MLX 做本地推理,Muse Spark Open 登陆 Mac Studio — awnihannun · 2026-10-16
- Hugging Face 开源印度语系预训练管线:2.8 万亿 token 数据 — Hugging Face Blog · 2026-10-16
- Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Vera Rubin NVL72 实测:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- 英伟达 Vera Rubin NVL72 首批实测:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
- Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16