Sleep-time Compute：让模型离线预思考，测试时算力省 5 倍
RLanceMartin · x · 2026-11-07
作者引用并推荐 Letta（sarahwooders/charlespacker 团队）在记忆方向的工作，链接到 arXiv 论文《Sleep-time Compute: Beyond Inference Scaling at Test-time》。论文要点：
- 提出让模型在查询到来前离线"思考"上下文：预判用户可能问什么并预计算有用结果，从而降低推理时算力需求。
- 在 Stateful GSM-Symbolic 与 Stateful AIME 上，达到相同精度所需 test-time 算力减少约 5 倍；加大 sleep-time 计算可再提升精度最高 13%/18%。
- 引入 Multi-Query GSM-Symbolic：对同一上下文的多个相关查询摊销 sleep-time 计算，单查询平均成本再降 2.5 倍。
- 分析显示效果与用户查询的可预测性强相关，并附真实应用案例研究。
核心结论：test-time scaling 之外，"睡眠期"离线预计算是另一条可行的算力-精度权衡路径。
「研究」频道最新
- 签名可被劫持:研究揭示离线 RAG 向量与文本不匹配的完整性缺口 — securagenai · 2026-11-07
- 小模型阶梯训练法引热议:每次配方改动先在 3 亿至 60 亿模型上验证 — teortaxesTex · 2026-11-07
- 9 篇 ICLR 2027 投稿全被拒后本科生集体撤稿,引 AI slop 争论 — khademinori · 2026-11-07
- Mercor 联手发表新研究：区分模型「看不见」与「推不动」 — AndrewDai · 2026-11-07
- Inkling 2 Small 以极低成本登顶开源模型 ARC-AGI-2 榜，下周开放权重 — LiTianleli · 2026-11-07
- SketchAgentBench：25 张照片实测 11 个模型的 3D 空间推理 — wsxiaoys · 2026-11-07