可解释性研究两分法:造香肠工艺 vs 香肠本身
thebasepoint · x · 2026-09-27
thebasepoint 提出对可解释性(interp)研究的一个粗略二分:「香肠怎么做的」(机制细节)与「香肠是什么」(模型行为本质)。他观察后一类实证上对理解模型行为问题更有用,前者则更漂亮,并称 NLA(非线性代数可解释性方向)90% 属于后者。他同时举例说明 NLA 不会告诉你加法如何分解为 mod 10 部分与量级部分。
所属事件:Anthropic 研究者激辩 NLA 可解释性路线价值(10 条相关)→
「研究」频道最新
- McGill-NLP 发布 WebArena-Pro:20 个应用 300 任务的多模态 Web Agent 基准 — McGill-NLP · 2026-11-16
- MIT 团队发布 DySENSE:卫星图像生成对齐的城市月度建筑能耗地图 — MIT · 2026-11-16
- Continual-ARC:终身任务流测智能体技能习得,多数 harness 不敌简单缓存 — unifyai · 2026-11-16
- 研究发现多数 VLA 预训练后丢失视觉语言能力 — DJiafei · 2026-11-16
- llama.cpp 无训练稀疏解码:128k 上下文解码提速 1.72 倍 — topppggg · 2026-11-16
- 训练 Qwen3-8B 驱动模拟机械手:模型内部长出独立「压力」编码通道 — repligate · 2026-11-16