SAE 效果差是信号?可解释性研究者质疑稀疏结构前提与自动标注
voooooogel · x · 2026-10-18
可解释性研究者 voooooogel 对 SAE(稀疏自编码器)路线提出两点质疑:
- 稀疏性前提可疑:SAE 效果持续不佳,也许本身就是信号——如果神经元本来就持有结构化语义信息、并不稀疏,强行施加稀疏结构可能并不成立。
- 特征自动标注质量差:用 Claude 等 agent 自动标注 SAE 特征的做法(auto-interp)几乎每次深查都能快速发现明显错误,且存在语言学上难以表述的细微区分,因此对 Anthropic「直接扔 Claude 去标神经元」的方案持怀疑,除非投入了极高成本的实验算力。
作者整体对后续技术报告持谨慎乐观,但对 SAE 路线的理论前提提出了值得关注的质疑。
所属事件:研究者质疑 SAE 可解释性路线并给出 RL 训练实证(2 条相关)→
「研究」频道最新
- 约 1700 个模型复测：扩散 LM 算力差距仅 3-8 倍，非传言的 16 倍 — LucaAmb · 2026-10-18
- 删除单个蛋白质后小鼠视网膜实现自然再生 — Promptmethus · 2026-10-18
- 帝国理工神经科学家：LLM 大脑类比在架构上误导，应先研究其心理学 — solyarisoftware · 2026-10-18
- APEX-MEM:属性图+本体+追加式事件存储破解 LLM 长期记忆难题 — burkov · 2026-10-18
- 网友自组混合架构称 ARC-AGI-3 得分 15.85%,开源求审计 — LooseSwing88 · 2026-10-18
- IdeaLens 检测器声称可分辨科研论文核心创意是 AI 还是人类 — skdh · 2026-10-18