研究复盘：线性注意力未生效的发现
jm_alexia · x · 2026-08-31
作者在尝试优化 LoLCATs（Lin-attention + SWA）以减少显存占用时发现，尽管该方法看起来前景广阔，但模型性能并未提升。经过排查发现，移除线性注意力仅保留 SWA 后结果相似，这意味着线性注意力部分实际上并未发挥作用。
「研究」频道最新
- RL 专家惊讶于 Agent 互监失效：未耗尽 Token 却自愿自我毁灭 — ZeroStateReflex · 2026-08-31
- 里程碑：pLM 设计的肽在活体小鼠中成功降解致病蛋白 — arjunrajlab · 2026-08-31
- 快速 Sim2Real 训练流：手机端策略查看与参数扫描 — yacineMTB · 2026-08-31
- 二元数据评估首选 Wilcoxon 符号秩检验 — IanArawjo · 2026-08-31
- François Chollet 回应 ARC-AGI 评测争议:勿宣称未跑分成绩 — fchollet · 2026-08-31
- 谷歌发布 GlucoFM 模型，提升连续血糖监测预测能力 — thione · 2026-08-31