用 chain lens 逐个解释 Qwen 27B 全部 110 万个 MLP 神经元，仅花 5 美元
voooooogel · x · 2026-11-12
vgel 团队受 @nickcammarata《Neural Networks are Already Clean》等启发，把 chain lens 用于单个神经元的解释，并取得成功。
- 做法与成本：对 Qwen 27B 全部 110 万个 MLP 神经元生成 chain lens 读出，总成本仅约 5 美元。
- 效果：许多读出能 round-trip（回灌模型后重新激活对应神经元），并准确描述神经元的 steering 行为。示例包括"meta 自知/打破第四面墙"神经元（steer 后模型会写出承认读者存在的元叙事文本）、"暴风雨前的平静"神经元等。
- 意外发现：在一个诗歌任务上，chain lens 的读出比 oracle lens 的虚构（confabulate）程度更低，团队尚不确定为何与 WorkspaceBench 上的表现不同。
「研究」频道最新
- 错过 Tedrake CoRL 演讲引热议:部署将是物理 AI 最重要的数据源 — m_wulfmeier · 2026-11-12
- 29M 参数预测式语音识别 Earlybird:词语说完前 90ms 就能猜出 — DrDatta_AIIMS · 2026-11-12
- 无需从头训练：LoRA 冻结语音 LLM 即可实现全双工对话 — kastnerkyle · 2026-11-12
- WICL：单演示+仿真预演让机器人在上下文中学会操作，RoboTwin 全 50 任务成功率达 83.4% — _akhaliq · 2026-11-12
- Epoch：AI 软件进步每年让同等能力所需训练算力降数倍 — datagenproc · 2026-11-12
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12