200篇ICML提问游戏:前30问定局,瓶颈在生成不在判断

Re-Search: Dissecting LLM Ideation Through a Two-Player Questioning Game

Muhan Gao, Hangxiao Zhu, Xinqi Su, Yu Zhang, Daniel Khashabi, Kuan-Hao Huang

cs.AI

2026-11-11

六个模型在二百篇 ICML 论文上用二十问找回原思路,进展几乎都挤在前三十问,弱模型能认出别人给的好想法,自己却写不出来。

这篇在解决什么

科研构思靠反馈改方向,现有评测看不见这段搜索。一次性 idea 基准只让 LLM 打新颖性,不看想法怎么被改。端到端 agent 把写代码、排错、跑实验缠在一起,分不清砸在构思还是执行。

Re-Search 只测找想法。它借用 Twenty Questions(二十问):一方藏答案,另一方连续问是非题。藏着的是一篇已发表论文的核心做法。提问模型只看研究问题,最多 100 问;回答者读过全文,回 Yes、No 或 Unknown。执行被拿掉,每一问对得上后来的想法。

方法

一局拆成问题 p 与解法 s。p 是领域、目标、难点、前人缺口;s 是贡献、路线、技术部件、新意。提问者只看 p。回答者读全文,回三个标签之一,不保留对话。每 10 问交一张 idea card,写下当时对 s 的猜测。三名 LLM 裁判(Gemma-4-31B、Qwen3.6、GPT-OSS-120B)对照 s 打 1 到 10 分,均分即找回分(recovery score)。分数不反馈。裁判相关 0.85 到 0.88。人工核 498 对,Fleiss' κ = 0.83,与多数裁判一致占 91.2%。

题库 200 篇 ICML 2026 方法论文,2025 年 8 月 31 日后才公开,晚于知识截止。GLM-5.2 抽取 p、s,博士抽查 100 篇,93% 正确,错多半漏了区分性部件。回答者固定 Gemma-4-31B,795 条人工回答上与人一致 94.0%,高于 GPT-OSS 的 86.2% 和 Qwen3.6 的 78.4%,Yes/No 说反 1.1%。提问者另有 DeepSeek-V4-Flash、Qwen3.6-35B-A3B、Claude Sonnet 4.5、GPT-5.4、GPT-OSS-120B,每篇三局。

两组干预拆瓶颈。四模型(GPT-5.4、Qwen3.6、DeepSeek-V4-Flash、GPT-OSS)对同一历史各出一题,由一人来选。另一组附思路清单,5 到 7 维、每维 4 到 6 个技术家族,只在提问时给,写卡片时不给。Cfull 写入真实做法,Cdecoy 只把该短语换成诱饵,两者只差一句。

结果

开局分很低。前 10 问涨 1.3 到 3.2,第 11 到 30 问再涨 0.2 到 0.8。此后 DeepSeek、GPT-OSS、Qwen 在余下 70 问几乎不动,Gemma 与 Sonnet 慢爬,只有 GPT-5.4 继续升。它领先一截,Gemma 与 Sonnet 随后,另外三个大约只有它的三分之二。

最好与最差开局在第 k 问截断再各续三次。与终局的相关,第 10 问 r = 0.76 到 0.87,第 30 问 0.87 到 0.92。从第 10、20、30 问截断后续写,更好的前缀到终局仍领先的比例在 63% 到 79%。100 篇上 GPT-5.4 比 GPT-OSS 高 2.54 分;双方闭卷都列出核心思路的 24 篇里仍差 2.28,知识大约只合上十分之一。

对照结果基线
前 10 问涨幅+1.3 到 +3.2第 11 到 30 问 +0.2 到 +0.8
第 30 问对终局r = 0.87-0.92第 10 问 r = 0.76-0.87
GPT-5.4 减 GPT-OSS高 2.54 分都会思路的 24 篇仍差 2.28
共享候选 30 问5.19-5.34单干约 4.2;GPT-5.4 反而 -0.59
自己采样四次4.16 到 4.57跨模型池为 5.20,随机挑 4.43
点名核心做法最多 +1.25相对诱饵,r = -0.74
顶层分支约 8.3 条最高过窄 5.2-5.5,过宽 13.7

谁来选,30 问后都在 5.19 到 5.34。弱模型增益 +1.04 到 +1.09,GPT-5.4 为 -0.59。自己采四次,GPT-OSS 从 4.16 到 4.57;随机挑 4.43,与单干无显著差。点名做法最多 +1.25,与不点名分数的相关为 -0.74。20 到 42 个候选里,模型中位数 3 到 6 问就问到那个名字,67% 到 89% 的局会问到,诱饵只有 29% 到 52%。GPT-5.4 四种清单终局接近。

1200 局收成树。DeepSeek 与 Qwen 每局 5.2 到 5.5 条分支,23% 的问题在枚举变体。GPT-OSS 13.7 条,Yes 后比 No 后更常换支。三个更强的模型 7.2 到 8.2 条。去掉模型与论文差异,找回分约在 8.3 条最高。GPT-5.4 接到 Yes 后深挖的概率 39%,接到 No 为 24%。

为什么重要

弱模型认得摆上来的题和做法。同一候选池里谁选都在 5.2 上下,自己采样四次却把 GPT-OSS 只从 4.16 送到 4.57。候选要从外部来,选择器可以是弱模型。GPT-5.4 进池会掉 0.59,不必逼它改用弱池。点名清单同样是越弱越有用。

动手的时点在第 30 问。DeepSeek、GPT-OSS、Qwen 后 70 问已经躺平。

外接检索能不能写出更好的论文,没测。回答者拿着全文,是非题几乎免费。同一份反馈下,卡点在产生候选。

局限与存疑

只有 200 篇 ICML 2026 方法论文。游戏能套到药物或材料,没测。找回分奖的是像那篇已发表的解,另一条走得通的路线会被压分。写法一多,裁判更易错。裁判与部分提问者同族,去掉后点名增益最多变 0.08,偏置小,没清干净。树是 GPT-6 Astra 标的,人工核过分数和回答,没以同样密度核过树枝。

抽取 93% 正确,漏掉的部件可能抬高分数。更新模型因知识截止没进实验。回答者始终是 Gemma,看错则全体共享噪声,说反占 1.1%。后 70 问的平台期也可能是在重复已知信息,信息增益没直接测。

术语

原文与代码

社区讨论

相关论文

全部论文解读