NovGauge 基准：18 个 LLM 评论文新颖性，幻觉率最高 39%
sethlazar · x · 2026-09-14
复旦等机构研究者发布 NovGauge，一个细粒度诊断 LLM「论文新颖性评审」能力的基准，回应了「用 AI 做同行评审」的提议。
- 数据：619 组论文对 + 50 个多篇论文集合，来源为 ICLR 审稿人的新颖性重叠声明与综述共引，按任务、问题、方法三个维度独立标注。
- 方法：级联诊断流程，逐维度校验判断正确性、证据忠实性与逻辑支持。
- 结果：18 个 LLM 的幻觉率从 0% 到 39% 不等；即便判断正确，超过 70% 的「正确肯定判断」所引用证据在逻辑上无法支持其理由。表现最好的 GPT-5.5 各维度 Verified F1 仅 43–72%，多数模型经验证后 F1 掉到原始值一半以下。
结论：目前最先进的模型在判断论文新颖性上仍不可靠，AI 评审短期内难以胜任新颖性判断。
「模型」频道最新
- 爆料称 Google 在 carbon 之后还藏有另一款「超重」模型 — iruletheworldmo · 2026-10-30
- 用户抱怨 GPT 质量全面下滑：写剧本变水、agent 指令遵循崩了 — Kyrannio · 2026-10-30
- OpenAI 将分批下架大量旧模型，GPT-5 全系 12 月停用 — ThePeterMick · 2026-10-30
- DeepMind CEO 回应马斯克：正在向可信伙伴测试，很快推出 — demishassabis · 2026-10-30
- Adobe 坚持不用用户数据训练模型:改用图库与授权内容 — omooretweets · 2026-10-30
- 实测者背书:Mistral 新模型快且便宜,真实任务表现扎实 — _AndrewZhao · 2026-10-30