414k 参数小模型学会鸟群飞行,线性探针读出三规则,但有陷阱
rage_81 · reddit · 2026-10-11
作者用 Python/PyTorch 从零写了一个小型 transformer(每只鸟一个 token,两层注意力,约 41.4 万参数,笔记本 CPU 训练),让它预测 12 只鸟的 boids 鸟群下一步移动,再检验探针读出的规则是否就是模型实际使用的规则。
主要发现
- 泛化:未见过片段上 R² 达 0.990–0.994(4 次完整训练),且能外推到 50 只鸟(训练只有 12 只)
- 对照:只看自身移动+群体平均(无注意力、无位置)的小网络 R² 仅 0.40
- 线性探针可从隐状态轻松读出三条规则;cohesion(聚拢)甚至训练前就能读出(probe R²≈0.85)
- alignment(对齐方向)在第一层注意力后即可读出;但若强制第二层只注意自身,四次训练中该信号全部消失
意外发现:最早的模型根本没在用鸟群信息——8 步历史已让上一帧答案出现在输入中,只看单只鸟的小网络反而击败整个 transformer。
未解问题:强制某层只注意自身是训练中从未经历的操作,信号衰减究竟是公平测试还是异常输入所致,作者尚不确定。项目页面与代码均已开源。
「研究」频道最新
- KU Leuven 与 VIB 招两位 AI in Biology 组长教授，2027 年入职 — jpillowtime · 2026-10-23
- Subspace Tuning:把权重更新限制在低奇异子空间,大幅缓解 LLM 灾难性遗忘 — scottniekum · 2026-10-23
- Perceptic 发布 PercepticOS:面向「科学超级智能」的 AI 科研工作台 — nathanbenaich · 2026-10-23
- EPFL Bosselut 11 月线上演讲:长上下文处理即测试时学习 — andre_t_martins · 2026-10-23
- Cohere 演讲：DRATS 自适应任务采样改善多任务 RL 数据分配 — Cohere · 2026-10-23
- MIT CSAIL 推出 X-Hinges：3D 打印内置传感的自感知物件 — MIT News AI · 2026-10-23