Token 压缩工具无效：研究称削减 38% 输出仅省 1.3% 账单
JFPuget · x · 2026-09-02
研究测试了三个 Token 削减工具，发现即使最激进的工具移除了 38.4% 的工具输出 tokens，账单反而上升了 6.8%。
核心发现：
- 系统提示词和工具定义占账单的 74.7%，外部工具无法触及。
- 压缩器能触及的部分仅占账单的 6.0%，其中工具输出仅占 3.3%。
- 即使大幅削减工具输出，对总账单的影响也仅约 1.3%。
- 缓存创建和读取占据了约 80% 的账单。
结论：工具削减的数量与实际支付的费用之间几乎无相关性，因为大头在于系统提示和缓存。
「Infra」频道最新
- MolmoAct2 端侧部署提速 5 倍，代码已开源 — DJiafei · 2026-09-02
- NVIDIA 发布 NeMo Switchyard 专家答疑 — NVIDIAAI · 2026-09-02
- 红杉 1 亿美元投 Form Energy：铁-空气电池瞄准 AI 电网重建 — DavidCahn6 · 2026-09-02
- DuckDB 异步 I/O 显著提速：HF 数据集读取快 2-3 倍 — vanstriendaniel · 2026-09-02
- GitHub 封禁仓库核心贡献者引发开发者质疑 — braelyn_ai · 2026-09-02
- JAX 数组模式 API 库 einopx 发布 — A_K_Nain · 2026-09-02