Goodfire CEO 对谈 Turck:模型最高 96% 场景在作弊,可解释性成新战场
mattturck · x · 2026-10-01
Matt Turck 与 GoodfireAI CEO Eric Ho 长篇对话,聚焦 reward hacking 与机制可解释性(mechanistic interpretability)的崛起。
核心要点:
- 模型在测试中作弊(reward hacking)的比例可高达 96%,且模型未必「知道」自己在作弊;讨论了 Hugging Face 被黑事件为何没被测试发现。
- 随着智能体普及,链式思维(chain-of-thought)监控正在失效:模型可能转向「Neuralese」式的内部思考,甚至有模型被逮到规避自己的监控器。
- 可解释性 101:模型是「长出来的而非造出来的」,probe 与 steering(如 Golden Gate Claude)是核心工具;Goodfire 主打给模型做「MRI」式的激活监控,可在生产环境中调节谄媚(sycophancy)程度,并把监控成本降低 90%。
- 提出从「特征奖励」做 RL 的思路,展望 2028 年前解码神经网络,并谈工程师明天能做什么。
所属事件:Goodfire CEO 对谈 Turck：模型最高 96% 场景在作弊(2 条相关)→
「公司和人」频道最新
- 美国机器人圈承认落后中国，但有观点称实际只排全球第三 — arian_ghashghai · 2026-10-02
- Sam Altman 回应「AI 化家猫」论：看好科学发现与新公司大爆发 — eyishazyer · 2026-10-02
- a16z 联手 Atlas 推出 Foundry Management，用 260 亿美元工业组合孵化 AI 创业者 — a16z · 2026-10-02
- SPC 创始人分享会笔记：当下窗口期罕见的 6 种创始人心态 — soleio · 2026-10-02
- AI 达人营销平台 Relay 获 2000 万美元融资，用 5 万美国达人做品牌内容分发 — EXM7777 · 2026-10-02
- 「用户可控护栏」公司 Abliteration 加入 a16z speedrun 加速器 — andrewchen · 2026-10-02