CMU 发布 IdeaTaste：LLM 研究品味仅达人类社区约 26%–18%
CMU-SCS · hf · 2026-11-04
CMU 与 MBZUAI 团队发布 benchmark「IdeaTaste」，用 2025 年文献快照让 LLM 写研究提案，再与同一社区 2026 年实际发表的论文比对，衡量 AI 的「研究品味」。覆盖 6 个当代语言模型、4 个研究领域、超 9 万份提案。
核心结论：
- LLM agent 在引用的文献和提出的想法上都远逊于人类社区，引用匹配约达人类水平 26%，想法匹配仅约 18%
- AI 群体能像人类社区一样广泛引用和承接任务与方法，但很少落到具体的研究路线和计划上
- 更丰富的领域背景或更大规模群体都不能显著缩小差距
- 盲评专家审阅中，AI 提案在呈现形式上最接近 2026 年论文，在预期成功率上差距最大
「研究」频道最新
- 陶哲轩预言「实验数学」爆发:AI 将绘出数学难度地图 — haider1 · 2026-11-04
- Google DeepMind 基因组学团队招 2027 学生研究员，要求熟悉 RL 与后训练 — alexechu_ · 2026-11-04
- SAIL 罕见病 AI 挑战赛开启：把基因诊断变成可执行治疗方案 — zakkohane · 2026-11-04
- 把文件系统编进权重:Qwen3.5-2B 被改造成一台纯模型计算机 — CatAstro_Piyush · 2026-11-04
- D&A 方法让任意 VLM 变身机器人奖励模型，三项基准 SOTA — KyleMorgenstein · 2026-11-04
- 伯克利 Beguš 用 AI 可解释性在鲸鱼交流中发现「元音」类似物 — begusgasper · 2026-11-04