研究:LoRA 可让模型精准「装菜」,低分不再等于低能力
rohanpaul_ai · x · 2026-11-18
一篇新论文(《Can We Make an LLM Dumber, or Is It Just Playing Dumb?》)证明:基准低分可以被精确「制造」出来,单看分数无法判断模型真实能力。
- 研究者训练了一个 LoRA「旋钮」,把 Qwen 模型拉向同家族更小的模型,使其分数逼近任意目标;在held-out项目上校准误差仅 1.9 分,而用提示词让模型「装差」偏差高达 42–47 分,调温度、加权重噪声也达不到同样精度。
- 但装差的模型会露馅:在选择题上,它新增错误的最多 97% 落在同一个选项字母上,形成「答案位置吸引子」,错误分布与任何自然模型都不同;减去估计的偏移可恢复 52–59% 的丢失准确率。
- 作者提醒:安全评估常把危险能力探测的低分当作安心信号,但低分可能来自人为压制而非能力不足。看低分时应检查模型具体错在哪些题、错误如何分布。
所属事件:新研究:LoRA 可让模型精确伪装低能,基准分数不可尽信(2 条相关)→
「安全」频道最新
- Matt Levine 议反垄断悖论:AI 安全协作或可借保险业豁免破局 — zacharynado · 2026-11-18
- OpenAI 推出 Daybreak,用于防御北约及盟友网络 — gdb · 2026-11-18
- 社区笔记纠错:Christiano 是美国 AISI 安全负责人而非所长 — NathanpmYoung · 2026-11-18
- FBI 警告黑客正用 AI 工具自动化攻击全球机构 — Polymarket · 2026-11-18
- Optimizely 供应链攻击感染 CNN、BBC、Fox News 等多家媒体网站 — balderdash · 2026-11-18
- 多方实锤指向中国 AI 实验室使用疑似走私 Blackwell GPU,黄仁勋遭审视 — Difficult-Limit-7551 · 2026-11-18