新方法用表征几何预测 LLM 概念组合失败,无需跑评测
Naomi Saphra 等人发布 arXiv 论文《Adversarial Concept Search》(ACS),提出利用 LLM 的表征几何来预测模型在哪些概念组合上会失败,无需实际运行评测。Kempner 研究所也发布博文介绍该方法。作者补充的有趣发现是:在所有检查过的规模上,模型越强(任务表现越好),用表征几何找出其失败模式的效果反而越好。
2026-11-07 ~ 2026-11-07 · 3 条相关
- 新论文:用表征几何预测 LLM 概念组合失败,无需跑评测 — nsaphra · 2026-11-07
- 作者补充:模型越强,几何方法找失败模式的效果越好 — nsaphra · 2026-11-07
- Kempner 提出 Adversarial Concept Search,用表征几何预测 LLM 失效场景 — nsaphra · 2026-11-07