循环复用架构红利有限:新鲜数据下参数绑定的损失代价更小
BlackHC · x · 2026-10-06
此前工作发现当数据有限、多轮复用时,循环(looping)架构能带来增益。作者用新鲜数据阶梯实验发现:在低 token 预算下,参数绑定的损失代价更小,暗示循环带来的多 epoch 增益与数据复用相关。作者留了一个后续问题:共享缓存的模型能否保留这些多 epoch 增益。
所属事件:BlackHC 离职首作：共享 KV cache 的绑定 Transformer(8 条相关)→
「研究」频道最新
- SFT再RL仍会死循环:29%跑满轮次上限,on-policy数据才是关键 — VikParuchuri · 2026-10-06
- 纯 RL 后训练消灭智能体工具调用死循环：SFT 循环率 92% 降至 0 — VikParuchuri · 2026-10-06
- Datalab 实测：纯 RL 训练让 Agent 零死循环，SFT 循环率高达 92% — VikParuchuri · 2026-10-06
- 用 FFT 压缩 AdamW 优化器状态，VRAM 直接省一半 — Spectra-Global · 2026-10-06
- 数学界缺乏实证传统，费马奖千份错误证明暴露领域盲区 — RexDouglass · 2026-10-06
- NanoGPT speedrun 刷新纪录：速度提升 11.3%，论文即将发布 — yoavartzi · 2026-10-06