普林斯顿/Meta 进化推理策略:Qwen3 小模型成本降 39% 精度持平

michaelTM_ai · reddit · 2026-11-23

解读 arXiv 2611.03618(Princeton + Meta):让一个策略 agent(GPT-6 Sol via Codex CLI)以代码形式编写推理策略——链式调用、验证器、投票、在 Qwen3 0.6B/1.7B/4B 间路由、thinking 与否——在真实样本上测试并存入带精度与成本记录的共享库,后续任务从库中起步。

核心结果:30 个 benchmark 上,与最强手工基线精度持平(74.7% vs 74.0%),推理成本低 39%,24 项取胜;作者认为路由是关键——策略内每步可选不同模型规模与思考模式。

可迁移性:策略在 Qwen3 上找到后,原样跑到 GPT-5 与 Gemini 2.5 上仍超基线;在 10 个未搜索的 benchmark 上仅靠检索库即全部逼近基线、8 个反超。

库比搜索循环重要:关闭库后同样 10 轮搜索仅 65.4% vs 78.7%。

胜者诅咒实测:选中的策略在选择集上 +4.3 分,独立测试集仅 +0.7——在自己 eval 上调 pipeline 报数要预期缩水。

局限:开发集小(≤100 样本)、30 项中 6 项输或打平(含 AIME、MedQA)、部分胜利代价高(BoolQ 精度 +16% 但成本 31 倍)、39% 未计搜索成本。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →