普林斯顿/Meta 进化推理策略:Qwen3 小模型成本降 39% 精度持平
michaelTM_ai · reddit · 2026-11-23
解读 arXiv 2611.03618(Princeton + Meta):让一个策略 agent(GPT-6 Sol via Codex CLI)以代码形式编写推理策略——链式调用、验证器、投票、在 Qwen3 0.6B/1.7B/4B 间路由、thinking 与否——在真实样本上测试并存入带精度与成本记录的共享库,后续任务从库中起步。
核心结果:30 个 benchmark 上,与最强手工基线精度持平(74.7% vs 74.0%),推理成本低 39%,24 项取胜;作者认为路由是关键——策略内每步可选不同模型规模与思考模式。
可迁移性:策略在 Qwen3 上找到后,原样跑到 GPT-5 与 Gemini 2.5 上仍超基线;在 10 个未搜索的 benchmark 上仅靠检索库即全部逼近基线、8 个反超。
库比搜索循环重要:关闭库后同样 10 轮搜索仅 65.4% vs 78.7%。
胜者诅咒实测:选中的策略在选择集上 +4.3 分,独立测试集仅 +0.7——在自己 eval 上调 pipeline 报数要预期缩水。
局限:开发集小(≤100 样本)、30 项中 6 项输或打平(含 AIME、MedQA)、部分胜利代价高(BoolQ 精度 +16% 但成本 31 倍)、39% 未计搜索成本。
「模型」频道最新
- 开发者驳「蒸馏万能论」:实验室靠海量采购数据,蒸馏只是安慰剂 — gnukeith · 2026-11-23
- 印度 Sarvam 发布 105B 新 checkpoint:基准 42.6 升至 73.9,杀入 Flash-Lite 价格带 — itsOmSarraf_ · 2026-11-22
- 开发者用Google模型研究无损压缩:压缩≈智能有实质进展 — gnukeith · 2026-11-22
- 用户误用 Astra-6.2 遭骂偷懒,争议焦点竟是没开 goal 模式 — alexisgallagher · 2026-11-22
- 蚂蚁开源医疗模型 LingSante-3.1-flash:560B 参数,附 FP8/MXFP4 权重 — BerryBlush_Rogers691 · 2026-11-22
- Gemini 4 Neon 以 87.4 分登顶 LiveBench 2.0,领先 2.5 分 — demishassabis · 2026-11-22