强模型给弱模型搭脚手架：GPT-5.4-mini 准确率从 0.488 跃至 0.912
青稞AI · wechat · 2026-08-31
微信公众号「青稞AI」解读了 Salesforce AI 与 UIUC 的一项研究（论文 arXiv:2608.12307），提出 Strong-to-Weak Scaffolding：强模型不直接替弱模型答题，而是在可编程环境中为其自动构建一套外部 Harness（提示、Python 代码、规则、状态追踪、校验流程），只优化解题路径而不动模型参数。
主实验中，GPT-5.4-mini 裸跑四个心智理论（ToM）基准平均准确率仅 0.488，加入强模型自动构建的 Harness 后平均升至 0.763、最佳达 0.912，超过了无 Harness 的更强模型 GPT-5.4（0.619）；57 次自动构建全部优于基线，但仍略低于人工设计的 UserHarness（0.939）。
论文核心发现：最有效的 Harness 不是让弱模型「多想几遍」，而是用确定性求解器、结构化抽取、显式状态追踪等手段，把本不该由概率模型承担的思考移出模型——被迁移的不是知识，而是「认知结构」。但可编译性有边界：BigToM 约 94% 任务可固化，开放的 MuMA-ToM 仅约 36%；且目标模型越强，Harness 收益越小，甚至可能成为束缚。Builder 的收益与其推理强度正相关，而非迭代次数。
所属事件:强模型为弱模型搭脚手架 小模型准确率近乎翻倍(2 条相关)→
「编程与Agent」频道最新
- GitHub 热门：安全技能路由包，自举进化工具链 — udmrzn · 2026-08-31
- 11 万行 AI 代码不腐化：Mole 作者的六条 Vibe Coding 工程法 — dotey · 2026-08-31
- 未来编程语言将优先为 LLM 设计而非人类 — jfischoff · 2026-08-31
- 多Agent团队协作编程工具实测：Tutti与Paseo谁更强？ — Careless_Cress_865 · 2026-08-31
- 新版 Claude Code 启动速度提升 20% — BLUECOW009 · 2026-08-31
- AI 训练时 LFS 暂停会中断训练，将增加配置进度条 — janusch_patas · 2026-08-31