消融单个注意力头致国际象棋 Transformer 丢失弃后策略
Weird-Asparagus4136 · reddit · 2026-08-23
研究展示了在 Maia-3 23m 国际象棋 Transformer 模型上的消融实验结果：仅移除 128 个注意力头中的 1 个，就会导致模型无法在著名对局中找到“弃后”这一关键招法。实验使用 chessformerlens 库进行钩子读取与分析，揭示了特定注意力头对特定棋类模式的关键作用。
「研究」频道最新
- Rich Sutton 观点：应让学习保持持续而非静态 — ricklamers · 2026-08-23
- 新论文用强化学习提升 LLM 贝叶斯一致性与校准度 — jessi_cata · 2026-08-23
- 全绿监控掩盖了局部失效：4% 流量出坑的反思 — ClickOk5811 · 2026-08-23
- AI 欲攻克人类最高负担疾病，构建高质量科学数据基础 — iskander · 2026-08-23
- AI 代理明知结果错误仍提交，82.5% 自动化研究失败源于此 — rohanpaul_ai · 2026-08-23
- 可视化改进：一眼识别优劣的 LLM 评测统计方法 — IanArawjo · 2026-08-23