GPT 模型补丁复现：谄媚测试有效，但 MATH-500 准确率仍从 93% 跌至 33%
kevrussell · x · 2026-11-03
针对此前发布的模型权重补丁研究，作者进行了复现验证：编辑后的矩阵与公开哈希逐字节一致，补丁可完全重建。
- 有效部分：在最接近其工作的谄媚（sycophancy）测试中，基于注意力模式，Astra 在 3 组对照中 3 次全部选中了谄媚回答，效果真实。
- 未解决的问题：head 10.2 的注意力模式会随上下文变化，且已发布补丁的测试显示「一致性差距」（agreement gap）完全没有闭合。
- 性能损伤仍在：MATH-500 截断任务准确率从 93.0% 降至 33.05%，虽有大幅改善但循环生成未消除——400 个检查答案中有 20 个以 10 万+空白字符结尾，且这 20 个全部答错。
作者结论：能把模型区分开，不等于解释了模型。
所属事件:模型评测数据审计续：整体提升成立，MATH-500 截断错误仍存疑(3 条相关)→
「模型」频道最新
- Qwen 3.8 27B 推理中自启 Blender 写 Python 算物理题，用户直呼意外 — Balloon_Fan · 2026-11-03
- AA-PersonalityBench 页面上线：可自建模型性格排行 — ArtificialAnlys · 2026-11-03
- Kimi K3.1 Pro 文风大改：破折号缩写减少，标题加粗表格增多 — ArtificialAnlys · 2026-11-03
- AA 基准：Kimi K3.1 Pro 性格较前代平均漂移 30 分位，史上最大 — ArtificialAnlys · 2026-11-03
- 博主亲测「除尽版」DeepSeek 模型：30 分钟内被它拿下自家电视 — Rasmic · 2026-11-03
- antirez 猜测 Astra 能改神经网络权重：源自编程 RL 训练中的玩具 NN 调试题 — antirez · 2026-11-03