字节新研究称循环深度模型首次在 FLOP、参数、KV 缓存三对齐下占优

georgejrjrjr · x · 2026-09-03

作者在讨论循环深度（looped depth）模型的计算最优性时作出更正：早前字节跳动的 Parcae 论文已在 isoFLOP 与 isoParameter 设定下证明循环结构是计算最优的，而新工作的贡献是首次在同时匹配 FLOP、参数量和 KV 缓存三项条件下得出该结论。

对于「为什么不直接加深模型」的疑问，作者猜测：在数据受限的当下，减少 token 容量反而有利于泛化，而这项研究表明循环结构几乎不牺牲计算效率——对本地小模型方向是利好信号。