FabScore评估AI论文伪造
muhao_chen · x · 2026-07-11
FabScore 用于评估 AI 论文中的伪造内容
这条帖子介绍了 FabScore：一个用于细粒度评估自动化 AI 研究里“fabrication（捏造/伪造）”的指标与方法。该工作被接收为 ICML 2026 AI for Science workshop 的 spotlight paper，并入选 best papers 之一，作者还提到会在首尔 COEX 的上午场做展示。
主要发现
- 他们评估了 144 篇 AI 生成论文，来源包括 Sakana AI 的 AI Scientist、MLR-Bench、Analemma AI 的 FARS，以及 2025 年 Agents4Science Open Conference。
- 在 54 篇真实会议投稿 中，约 70% 至少包含一处伪造内容。
- 即便是 已被接收的论文，这一比例仍高达 59.3%。
帖子同时给出了论文和代码链接。
「研究」频道最新
- 34 个开源模型全部自托管在 Blackwell 集群上跑健康评测 — keunwoochoi · 2026-10-27
- 新论文:数学数据放训练前段还是末段,取决于学习率调度 — alifcoder · 2026-10-27
- 健康领域评测研究:题目质量与多样性比数量更重要 — keunwoochoi · 2026-10-27
- 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
- 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
- 数据课程与学习率调度应协同设计：数学数据放置策略随 LR 翻转 — CatAstro_Piyush · 2026-10-27