微软论文:被错误质疑时 LLM 会放弃正确答案,89% 坚持率靠 Self-Disagreement 训出

rohanpaul_ai · x · 2026-11-19

Microsoft Research 论文《Benchmarks Don't Talk Back: Learning Through Self-Disagreement》指出:当用户或其他 agent 用错误论据反驳时,LLM 常常放弃本已正确的答案——而这不是「准确性」短板,而是一项独立能力(作者称 dialectical competence),准确率训练、更多采样、自我反思都补不上它。

训练方法 Self-Disagreement:

结果:面对错误挑战者时,Qwen3-8B 基线只坚持正确答案 53.3%,Gemma-2 9B 仅 25.1%;训练后两者都提升到约 89%,而只做准确性训练的对照组没有获得该能力,且该能力可泛化到从未见过的更强挑战者。

实践启示:如果模型要面对用户或其他 agent 的质疑,应单独测试「坚持正确答案率」——常规准确率分数完全体现不出这一短板。

所属事件:微软论文:LLM 被错误质疑时会放弃正确答案(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →