Recirculation: 无需训练的推理架构大幅提升模型能力
chaumian · x · 2026-08-20
论文提出了一种在推理阶段增强现成基础模型架构的方法「Recirculation」，能显著降低困惑度并提升生成与推理任务的准确率。
核心特点：
- 推理时增强：在生成阶段几乎不增加额外延迟，仅在预填充阶段需要串行处理。
- 引入循环：通过特定形式的递归让模型作为动力系统跟踪信念状态，解决前馈 Transformer 深度限制。
- 自适应变体：仅需对超参数进行微调，冻结原模型权重。
效果：
在 Gemma3 系列上，自适应 Recirculation 实现了数据集上 23% 的困惑度降低，GSM8k 准确率提升 21%，并在其他下游任务上可靠提升。
所属事件:DeepMind 推出 Recirculation：无需重训增强 LLM 推理(10 条相关)→
「Infra」频道最新
- 黄仁勋：马斯克 AI 算力规模已从 K 级跃升至 M 级 — elonmusk · 2026-10-16
- EpochAI 估 GPT-6 训练算力 4.6e26 FLOP,引算力圈质疑参数高估 — scaling01 · 2026-10-16
- Meta Muse Spark Open 智能指数仅 39，比闭源 1.3 低 9 分 — EAccelerate_42 · 2026-10-16
- LLM 优化 ffmpeg 模糊滤镜:每帧 95GB 冗余拷贝,耗时从 2452ms 降到 49ms — IgorCarron · 2026-10-16
- DeepSeek-V4-Flash 跑上 4 张 R9700:被“拒启”的四卡配置实测可行 — brainchillzZ · 2026-10-16
- TRL 引入树形打包:Agentic RL 训练前反向计算提速超 26 倍 — joecole · 2026-10-16