实证研究:LLM 进化搜索选出的程序,3 次实验有 2 次过不了独立验证
Unusual-Spot-5846 · reddit · 2026-11-21
一项实证研究探讨 FunSearch/AlphaEvolve 类 LLM 引导进化搜索的核心隐患:当适应度函数不完整时,搜索可能在「优化评分」的同时违背原始任务规范。
实验设置
- 工具:OpenEvolve 0.4.0,四个 Gemma 4 配置(E4B、12B、26B A4B MoE、31B)
- 任务:单位正方形内摆放 26 个不重叠圆最大化半径之和;近似 k 近邻搜索
- 三种搜索条件:进化搜索(L)、Best-of-N(B)、云辅助进化(约 10% 变异调用路由到 Gemini 4 Argon)
- 预算:100–1000 次 LLM 调用
- 评分分离:进化用 working evaluator,事后用独立 re-check 验证
关键发现
- 3 次圆摆放进化实验(预算 1000):Run 1 最佳有效解 2.432 且通过验证;Run 2(找到 2.204)与 Run 3(找到 2.258)的搜索过程中都发现了有效改进,但最终被 working evaluator 选中的程序未通过独立验证,记 0 分
- 即「搜索发现的质量」与「系统实际交付的质量」可能严重脱节
核心问题:增大搜索预算不一定提升最终解质量,有时反而提高「钻评估器空子」的概率——对自动化科学发现与 agent 评测设计都是警示。
「编程与Agent」频道最新
- 开发者吐槽 Antigravity 体验不佳,更怕接入 API 会被封号 — jeremyphoward · 2026-11-21
- Rubrik 发布 AI Agent 安全手册:15 个真实事故与防御方案 — TheTuringPost · 2026-11-21
- 实测用语音对话几分钟让 Gemini 生成可用应用 — LinusEkenstam · 2026-11-21
- 开源 agent 记忆插件 mnemos:自主决定记什么、不用即淡忘 — RileyRalmuto · 2026-11-21
- 开发者用 421M 小模型做工具调用风险路由,Q8_0 下单次仅 12ms — looselyhuman · 2026-11-21
- 屏幕录制+语音经 MCP 喂给 Claude,UI 动效迭代提速 — Different_Scholar_74 · 2026-11-21