IdeaTaste 基准：LLM 的研究品味仅达人类社区 18%，方向判断是瓶颈
XiongChenyan · x · 2026-11-04
CMU 等机构团队发布论文 IdeaTaste（arXiv:2611.03424），首次系统度量 LLM 的「研究品味」：用 2025 年冻结的文献快照让 6 个 LLM 写研究提案，再与其真实社区 2026 年发表的论文对比，覆盖 4 个研究领域、共 9 万余份提案。
核心发现：
- LLM 在引用匹配上约为人类水平的 26%，想法匹配仅 18%
- LLM 群体能像人类社区一样多元引用、采纳任务与方法，但很少落到人类实际选择的具体路径和研究计划
- 更丰富的领域背景或更大规模群体都无法显著缩小差距
- 盲评专家审稿中，AI 提案差距最小的是呈现质量，最大的是预期成功率；与任何人类论文想法都不重合的提案表现最差——说明是方向更弱，而非被忽视的机会
结论：AI 科学家研究品味的主要瓶颈不在发现方向，而在判断哪些方向值得做。作者之一的 Chenyan Xiong 称这是对「我们离 RSI/AI 科学家还有多远」的一次测量。
所属事件:CMU 发布 IdeaTaste 基准：LLM 研究品味远逊人类(2 条相关)→
「漫话AGI」频道最新
- 投资人放话：Scaling Laws 没错，错的是我们度量数据、参数与算力的方式 — JosephJacks_ · 2026-11-04
- ChatGPT 谈人类最重要的问题:文明须比变强更快地变智慧 — UnderstandingBasic82 · 2026-11-04
- AI 逐渐接手技能：你爱的是工作本身，还是被需要的感觉？ — nathanbenaich · 2026-11-04
- Pedro Domingos 吐槽:十年过去,LLM 推理还是靠 CoT+暴力算力 — pmddomingos · 2026-11-04
- 科学家天职是证伪自己：警惕基线没调好、数据泄漏与 reward hacking — tw_killian · 2026-11-04
- Superhuman CEO 拆解董事会五大 AI 之辩：AI 创造工作而非削减 — MatthewBerman · 2026-11-04