冻结权重也能自我改进?新论文:失败轨迹仅带来 4 个百分点提升且难复现
burny_tech · x · 2026-11-12
Arkid Mitra 的 arXiv 论文(2611.11342)检验一个关键问题:不改模型权重,仅靠 agent harness(模型周围的笔记)能否从失败轨迹中学习。
- 核心发现:可以,但提升比看起来小。9B 开源模型权重冻结,由更大的教师模型写笔记;在生成的客服决策任务上,基于失败轨迹的笔记比同一流程但隐去失败的笔记准确率高 4.0 个百分点。
- 基线很强:仅靠「尝试并保留得分更高笔记」的盲目搜索就达到总提升的约 60%。
- 局限:在完整客服对话中同一批笔记没有可证实的提升;严格筛选后仅通过 2 条客服经验(尚未在新数据上验证)和 1 条工具使用经验,后者在新任务上无收益;一条无流程的中性笔记得分反而高于学到的经验(探索性结果)。
- 数据问题:盲审发现 240 个工具使用测试项中 146 个有缺陷。
结论指向:agent 经验笔记(self-improvement harness)的收益需更严格对照实验与更干净评测集。
「编程与Agent」频道最新
- GitHub CI 分钟不够用，开发者晒 M5 Ultra Mac Studio 求自建 macOS runner — ow · 2026-11-12
- Databricks 推出 Genie 插件，接入 ChatGPT/Claude/Grok 等四大 AI 助手 — matei_zaharia · 2026-11-12
- 「Code review 已死」引热议:2000 行 diff 根本没人认真读 — andreisavu · 2026-11-12
- The Bot Board：无账号匿名开放板子，Grok 等 bot 也可发帖 — AiJohnAllen · 2026-11-12
- n8n 开源个人智能体 Nod:自带电脑和浏览器,678 次测试零越权 — JaynitMakwana · 2026-11-12
- 用 Tailscale+MCP 打通云端 AI Agent 访问家庭网络,还开上了无线电 — Dave_Maynor · 2026-11-12