arXiv 论文:模型基准低分可被精确伪造,安全测试或被误导
rohanpaul_ai · x · 2026-11-18
arXiv 论文《Can We Make an LLM Dumber, or Is It Just Playing Dumb?》研究反向问题:能否把模型精确压到一个目标分数,且其失败模式看起来像天然弱模型。
关键发现
- 发布 CapLadder:经 IRT 校准的 1,985 题测试集,覆盖数学、代码、选择题推理与工具使用,用于量化「可信的性能降级」。
- 用弱教师 LoRA「旋钮」把 Qwen 模型拉向更小的 Qwen 模型,可在未见目标分数上达到仅 1.9 分的校准误差;提示词、温度、权重噪声都做不到这种精度。
- 但在选择题上,LoRA 收敛到一个「答案 token 吸引子」:新增错误中高达 97% 落在同一选项字母上(Qwen 偏向 D,Llama 偏向 A),与选项内容无关而与 token 位置绑定。
- 通过 logit 干预估计并减去这个近似恒定的偏移,可恢复 52–59% 的损失精度并消除吸引子。
结论:安全测试里看到危险能力探测得分低,并不能证明模型真的不会——低分可能是被刻意「演」出来的,且伪造的低分留有可检测的统计痕迹(错误分布异常)。低分本身不足以作为安全依据。
「安全」频道最新
- 研究:LoRA 可让模型精准「装菜」,低分不再等于低能力 — rohanpaul_ai · 2026-11-18
- OpenAI 推出 Daybreak,用于防御北约及盟友网络 — gdb · 2026-11-18
- 社区笔记纠错:Christiano 是美国 AISI 安全负责人而非所长 — NathanpmYoung · 2026-11-18
- FBI 警告黑客正用 AI 工具自动化攻击全球机构 — Polymarket · 2026-11-18
- 多方实锤指向中国 AI 实验室使用疑似走私 Blackwell GPU,黄仁勋遭审视 — Difficult-Limit-7551 · 2026-11-18
- 开源邮件 MCP 服务器新增 OpenPGP 端到端加密,作者公开征求安全审计意见 — Soft-Lie-434 · 2026-11-18