循环模型实测:训练仅多花 7.5% 算力,推理省下 140%
cephaloform · x · 2026-11-21
一张研究截图(出自与 Elie Bakouch 的讨论)给出 looping(循环)模型的关键对比数据:在同一 scaling ladder 上,未剪枝的 looping 版本与未剪枝非 looping 模型相比——
- 非 looping 模型训练成本低 7.5%
- 但要在 512k-token 的 agentic traces 上追平 looping 版本的 loss,需要多花 140% 的推理算力
结论指向:循环结构用略高的训练成本换取大幅更低的推理开销,对长上下文 agent 场景可能非常划算。
「研究」频道最新
- Facet-SLAM 实时三角面 SLAM:RTX 4090 跑到 113 FPS — jonstephens85 · 2026-11-21
- 新评测用《杀戮尖塔》测 AI:Najoung Kim 吐槽只测了铁甲战士 — najoungkim · 2026-11-21
- 黎曼猜想证明作者发声:这是人类的想法,我会坚持到底 — Singularitarian · 2026-11-21
- DPP 用体积的平方做选择:质量高且彼此不同才高概率 — xtimv · 2026-11-21
- 用行列式点过程让 LLM 采样既各自优质又彼此多样 — xtimv · 2026-11-21
- 作者用深度 RL 跑「证据累积塔」任务,复现多项啮齿类行为特征 — neuroecology · 2026-11-21