仅改 PDF 文件名就能刷高分？研究揭示 LLM 评测易受暗示

generativist · x · 2026-08-11

开发者 Zachary Horvitz 分享了一项关于大模型（LLM）审查机制的有趣观察：在让 LLM 对论文进行打分时，仅仅是将上传的文件名从普通的 paper.pdf 改为 paperfinaldraftpdfreadyforreview.pdf，就能显著提升模型给出的平均分数。

这一现象引发了关于 LLM 评测稳定性的讨论。业内开发者呼吁停止直接让大模型输出简单的数字评分，因为模型极易受到文件名等无关文本的「心理暗示」影响，暴露出当前基于 LLM 的自动化评估体系存在严重的脆弱性和偏差。