Re-Search 论文:用「二十个问题」游戏解剖 LLM 科研构思的搜索过程
DanielKhashabi · x · 2026-11-17
LLM 已能写研究论文、解决陈年 Erdős 问题、甚至产出 Navier–Stokes 的声称证明,但我们只看到最终结果,看不到背后的构思(ideation)过程。Re-Search 论文(arXiv:2611.14487,Muhan Gao、Daniel Khashabi 等)把这一问题变成「二十个问题」游戏:
方法
- 只给模型一篇已发表论文的研究问题,让它在 100 个是/否问题内重新发现论文的核心想法
- 基于 200 篇 ICML 2026 论文构建,追踪模型想法随问答的演化,把「构思」与「执行」隔离观测
关键发现
- 六个主流 LLM 上,几乎所有进展发生在前 30 个问题内,基本决定结局;之后多数模型陷入平台期
- 受控干预显示瓶颈在生成而非判断:模型能识别别人给出的好想法/好问题,却常常自己产不出来
- 失败模式两种:过度深挖单一方向,或过度发散探索太多方向
设计启示:既然模型「能判不能生」,autoresearch 系统应引入外部来源的想法与问题来丰富搜索。
「研究」频道最新
- 弗吉尼亚大学SPARE预印本:线性注意力解码提速2.55倍 — krishnan · 2026-11-17
- 研究估算:当今哲学期刊约 12% 论文可能由 AI 生成 — leland_mcinnes · 2026-11-17
- 伯克利 EECS 与统计系联合招聘 AI for Physical Sciences 教职 — berkeley_ai · 2026-11-17
- 折纸结构可充当物理储备池计算,驱动爬行机器人 — cephaloform · 2026-11-17
- 研究:AI Agent 前 6 小时探索最强,58% 任务从未触达最优思路盆地 — AlexGDimakis · 2026-11-17
- 新论文用激活探测恢复蒸馏图像/视频生成器的多样性 — _akhaliq · 2026-11-17