From Solo to Social Learning: Characterizing Recursive Social Improvement in LLMs
Kunal Jha, Max Kleiman-Weiner, Natasha Jaques
cs.MA, cs.AI, cs.LG
2026-09-30
让自我改进的 LLM agent 群体互抄技能文件:省 token 是真的,但相同成本下打不过独立学习,群体的独立发现数量还更少。
prompt 优化、反思、进化搜索这类自我改进方法,都是一个系统在单打独斗;多智能体框架则让一群模型为一个共同目标协作。华盛顿大学团队问的是中间那块:一群各追各自奖励的自我改进 agent,能看见同伴产出的技能,群体会不会比各学各的强?他们把这叫 recursive social improvement(递归社会改进),即一个 agent 的发现成为另一个 agent 搜索的起点。问题很现实,agent 已经能从 GitHub 下载别人的技能库,OpenAI 解 Navier–Stokes 问题时协调了约一万个 agent。而行为生态学的老警告(Rogers 1988)在这里同样适用:抄别人有价值,前提是有人在独立探索;人人都等着抄,可抄的发现会枯竭。
核心设计是把「学」和「做」塞进同一个 token 预算。每轮 agent 先选学习动作,改自己的一个技能、观察一个同伴(拿到对方上轮的技能和得分)、或跳过,再从技能库挑一个去解任务。所有动作共享每轮 4,096 个 completion token,「该不该抄、抄谁」想太久,就没预算干活了。
关键度量是 matched cost 下的社会优势 ΔJ(C):能观察同伴的群体,与关闭观察、花同样 token 的同款模型群体,在同一累计花费处比表现。作者刻意区分「高效」(每 token 换更多成绩)与「有效」(同成本打赢独立学习),只认后者,因为提前停止搜索也能把每 token 收益做好看。
实验分两段。受控段把 Rendell et al. 2010 的社会学习锦标赛改成 25 臂 bandit,10 个 agent 玩 100 轮,测 Qwen3-14B、Ministral-3-14B、GPT-OSS-20B,配 UCB 基线;技能演化段用 IFBench 指令遵循任务,agent 借 OpenEvolve 写并评估技能文件修订,100 训练例、200 测试例,GPT-OSS-120B 与 GLM-5.3-Flash 各跑 6 个五 agent 种群。
bandit 环境本身是奖励社会学习的:分层 UCB(先用 UCB 选向谁学,再选臂)比 solo UCB 多拿 25.68 ± 2.87 累积奖励(p < 0.001)。轮到 LLM 就不行了:
| 设置 | 指标 | 结果 |
| Bandit,同成本 | ΔJ(C),社会减单干 | Qwen +0.14 ± 0.33;Ministral +0.37 ± 0.34;GPT-OSS −1.24 ± 0.45,均不显著 |
| Bandit | 每 token 奖励变化 | Qwen −29.6%;Ministral −41.8%;GPT-OSS −51.9% |
| 技能演化,同 token | held-out 准确率差 | GPT-OSS +0.14 ± 0.35 pp;GLM +0.98 ± 0.85 pp,均不显著 |
失败不在抄错东西:GPT-OSS 抄来的臂在 93.2% 的可比拉动中好于自己找到的最好臂。坏在两处:社会群体看到同伴的好臂后迅速塌缩到少数几条臂上;推理「抄谁」烧掉预算,Qwen 社会 agent 只有 81.0% 的轮次完成拉动,单干是 98.1%。两个定向干预各自修好了目标,预留 2,048 token 保护执行把 Qwen 完成率拉高 19.53 个百分点(p < 0.001),强制 15% 轮次独立探索给 GPT-OSS 多试 1.27 条臂(p < 0.01),但都没让社会学习者追上单干。
技能演化段两个模型分头走。GLM 抄得少而早(8.4% 轮次),学习途中 held-out 准确率比单干高 1.31 ± 0.61 个百分点,终点被追平;GPT-OSS 抄得多而持续(35.9%),准确率没涨,省下 17.34 ± 2.08M learning token。递归传递确实发生,终点时 83.3% 的 GPT-OSS 技能、56.7% 的 GLM 技能带着「抄来再改」的祖先链;但 GPT-OSS 社会种群的五份技能平均只追溯到 1 条始祖修订,单干是 4.83 条。让简单规则决定何时抄,UCB 和随机控制器比完整 solo OpenEvolve 少用 76–78% learning token,终点准确率差距在 1.03 个百分点内。
对做 agent 基础设施的人,这是个该记住的负结果:把多个自我改进 agent 并排放着,指望它们自然互相受益,在当前 LLM 自主决策下不成立。抄同伴对个体有用、对群体省算力,这部分是真的;但让 LLM 自己决定何时抄、抄谁,群体学不过各学各的,一条 UCB 规则甚至随机选择就能拿走大部分省算力收益。瓶颈在「何时学、向谁学」这个决策,是可以训练或激励的能力,不是搭好共享机制就白送的红利。
作者自列:bandit 只测三个模型,技能演化只有两个模型、一个 benchmark;同伴列表顺序固定,分不开「偏好某同伴」和「列表位置效应」;对比发生在双方实际花费处,而非预先固定的预算;agent 只保留最近一次观察的全文,种群内单一模型,决策 prompt 不可修改。读下来另有两点要打折扣:GPT-OSS 的省 token 有机械成分,抄技能免掉了每次修订必需的 100 例评估,作者也承认这笔账不能全记在「学会了社会学习」头上;GLM 的途中优势终点消失,是加速,不是超越。