UPenn 实验：让 Claude 批判自己默认想法,研究灵感产出提升最多
arjunrajlab · x · 2026-10-16
宾大 Arjun Raj 团队（与 Claude 协作）测试了 9 种让 LLM 产生科研点子的提问方法，覆盖 Haiku/Sonnet/Opus 5.5 三个模型、两个细胞生物学问题，共 2160 个点子，由 Opus 5.5 做盲评打分（novelty+usefulness，≥4/5 双达标）。
核心发现：
- 普通 prompt 得分为 0——没有一个点子同时被评为新颖且有用
- 最佳方法是「critique and revise」：把模型自己普通 prompt 产出的点子当作“显然想法”展示给模型，要求给出替代方案，得到 34/240 个合格点子
- 让模型先列出显然想法再规避的方法得 25 个
- 提升幅度与模型大小正相关：Opus +19、Sonnet +10、Haiku +5
- 七种新方法中 5 种显著优于普通 prompt，但只有 critique-and-revise 超过此前研究中最强的“跨领域借鉴”法（多 18 个）
- 附加发现：强制用诗或随机词做联想不如直接要求“提出非显然的点子”
尚未有科学家参与评审，报告与代码已开源。
所属事件:实验表明直接要求「非显而易见」最能激发 LLM 创意(3 条相关)→
「编程与Agent」频道最新
- ThePrimeagen 调侃:给了无限 token,产出还是个 Electron 应用 — seatedro · 2026-10-17
- 长文详解 Generative UI:让 Agent 用活界面回答而非文字墙 — EXM7777 · 2026-10-17
- MCP 工具上线前审查:安全发现不过关,测试满分也不放行 — SamuelFmedeiros · 2026-10-17
- DeepSeek 视觉能力快速进化：Agent 可自查截图迭代建 3D 场景 — cedric_chee · 2026-10-17
- 被客户赖账500美元一年后，他让AI Agent自主打电话催债 — curious_vii · 2026-10-17
- AI:AM 播客文字版：agent 权限失控、隐藏效价与形式化验证抓内核 bug — The Cognitive Revolution · 2026-10-17