Yoav Goldberg 晒 InterpBench：机制可解释性评测基准已现成可用
yoavgo · x · 2026-11-03
AI 研究者 Yoav Goldberg 在与网友讨论中搜索后发现，针对机制可解释性（mechanistic interpretability）方法的评测基准 InterpBench 已经存在（arXiv:2407.14494）。
- 该基准由 Rohan Gupta、Thomas Kwa 等人构建，是一组半合成但真实的 Transformer 模型集合，其内部「电路」（已知算法）完全已知，可用于验证电路发现等可解释性技术是否真的找到正确答案。
- 论文提出 Strict IIT（SIIT）训练方法：让网络内部计算对齐目标因果模型，同时防止非电路节点影响输出；在 Tracr 生成的稀疏 Transformer 上验证，还能训练包含 IOI 这类更大电路的模型。
- 讨论中观点认为：这类基准其实可以由 Anthropic 这类公司相对自动化地批量生产——它们既有专门面向此类任务的人力，又同时押注可解释性与 RSI（递归自我改进），两者正好互补。
「漫话AGI」频道最新
- 研究者断言 scaling 远未见顶：我们还没学会怎么正确扩展 — Dr_Singularity · 2026-11-03
- 前 Google 工程师自述「认知空巢」：Agent 干完活后想不出新点子 — vivekhaldar · 2026-11-03
- 耶鲁学者 Karbasi:「让 Claude 别犯错」正成为新编程范式 SWE 3.0 — aminkarbasi · 2026-11-03
- 小组作业被队友狂换 AI slop，学生被迫建秘密文档存真项目 — IanArawjo · 2026-11-03
- 反向压力测试能否揭示"伪对齐"的镜像:故意伪装不对齐? — eigenron · 2026-11-03
- 可解释性研究者：识别谄媚头不难，解释模型才算真理解 — kevrussell · 2026-11-03