研究：混合架构 LLM 几乎只用注意力，辅助损失唤醒循环记忆

一项针对 Qwen3.5、Nemotron-H 等注意力-循环混合架构 LLM 的研究发现，即使经过 SFT，模型仍严重依赖注意力通路，几乎忽略循环通路；而两条通路各有所长，注意力擅长大海捞针类检索，循环记忆利于长上下文。研究通过辅助损失激发循环通路的使用，掩码注意力并结合辅助训练后，相关问答任务准确率提升 4.6%。

2026-10-07 ~ 2026-10-07 · 4 条相关

• 研究发现混合架构 LLM 过度依赖注意力,激发循环记忆问答提升 4.6% — EliasEskin · 2026-10-07
• 研究发现混合 LLM 微调后忽视循环通路，掩码注意力可提升长上下文 4.6% — mohitban47 · 2026-10-07

另有 2 条近重复转述:mohitban47 · mohitban47