可解释性研究者:识别谄媚头不难,解释模型才算真理解
kevrussell · x · 2026-11-03
回复 Neel Nanda 的讨论:作者团队对模型已发布权重文件的审计发现,基于注意力模式,Astra 在 3 对模型中 3 次准确挑出“谄媚”的那个;但 10.2 号头的模式会随上下文变化,且已发布的 patch 测试显示 agreement gap 完全没有收窄。结论是一句有分量的观点:“区分模型不等于解释模型。”
「漫话AGI」频道最新
- FT 记者用数据反驳「AI 已提升生产率」:趋势早于 AI 且仅限美国 — koltregaskes · 2026-11-03
- DeepSeek 超级 Agent 引热议:肉身代理时代是否终结 — gdechichi · 2026-11-03
- Dean Ball:RSI 靠的是把老技术推向前所未有的规模 — deanwball · 2026-11-03
- AI 伦理讨论:精细模拟人脑的 AI 应享有与人类同等权利 — dioscuri · 2026-11-03
- 实验:仅 3% 人类预测点击胜过 Claude Opus 5.5 — teortaxesTex · 2026-11-03
- AI 伦理辩论:行为规范取决于认知结构,而非人类皮肤组织 — dioscuri · 2026-11-03