字节 Seed 发布 Recycler：隐藏状态回收实现近乎零成本潜推理

JohnCLangford · x · 2026-11-04

字节 Seed 团队发布 Recycler 架构，ML 专家 John Langford 评价其本质即 Full Bandwidth Transformer（除次要细节外），且实验更全面、覆盖 RL、规模更大并跨模型尺寸对比。论文核心：标准自回归解码只通过离散 token 传递信息，丢弃了隐藏状态中的连续语义；Recycler 用轻量 adapter 把上一步隐藏状态与 embedding 一并喂入下一步，仅约 2% 主干参数的 MTP 头即可达到约 25% 规模独立模型的损失水平。训练/推理管线覆盖预训练、SFT、继续预训练与 RL，在推理与数学任务上参数效率突出，后期引入也能胜过参数量 2–3 倍的模型，解码开销可忽略。