研究:LLM 发现循环会模式坍缩,强初始种群热启动才是解药
BenBlaiszik · x · 2026-10-13
Colin Raffel 等人(Mansi Sakarvadia、Marco Ciccone)的新论文《Initialization Improves LLM-Driven Discovery》研究了用 LLM 迭代发现算法/定理/药物等任务的 harness 机制。
核心发现:
- 团队构建了名为 Modular 的 12 个 harness 套件,在 5 个多样化发现任务上测试,发现发现成功率脆弱且对 harness 设计高度敏感。
- LLM 驱动的发现循环普遍出现 mode collapse(模式坍缩):迭代样本的多样性骤降,而 SOTA harness 设计和多样性技巧都不能可靠解决。
- 关键解药是初始化:早期发现能预测最终成败,从高性能初始种群热启动(warm-start)能在固定 token 预算下持续提升发现成功率,且结论跨 harness、任务和 LLM 稳定成立。
论文代码与 arXiv 链接已公开。
「研究」频道最新
- 单卡 15 分钟微调 Qwen3.5-4B 做决策模型,4GB 显存本地玩 Flappy Bird — danielhanchen · 2026-10-13
- 让 Claude 只看权重文件解读 MNIST 神经网络 — Sauers_ · 2026-10-13
- AgentSWE 基准：25 个任务实测编码 Agent 造 Agent，无一达标 — Jiahao Wang · 2026-10-13
- Schema 智能体在 ARC-AGI-3 公开集达约 99% RHAE，论文与代码全开源 — wzenus · 2026-10-13
- 世界模型研究结论:堆数据无用,关键是从数据里榨出更多;精确物理仍缺位 — mangahomanga · 2026-10-13
- 独立开发者自建推理库训练 SVG 生成模型:进化算法败给 SGD — cephaloform · 2026-10-13