伪自蒸馏让小模型追平 GPT-4.1-mini 的 Agent 记忆检索
burny_tech · x · 2026-09-25
arXiv 论文《PSD: Pseudo Self-Distillation of Memory Representation Capabilities for LLM Agents》(Microsoft 研究团队 Pirzada Suhail、Menglin Xia、Xuchao Zhang 等) 提出用伪自蒸馏 (Pseudo Self-Distillation) 训练小模型，使其在 Agent 记忆检索任务上追平甚至超过 GPT-4.1-mini。
- 方法：利用黑盒 oracle 的输出作为训练信号，把前沿大模型在记忆表征上的能力蒸馏进 0.6B–4B 的本地小模型；
- 效果：在长期运行的 Agent 架构中，可用廉价本地模型替代昂贵的前沿 API 调用，完成记忆整合与层级索引任务，显著降低部署成本。
「编程与Agent」频道最新
- 有人把本地 LLM 当电脑主界面:装机、配 GRUB 都靠对话完成 — Forward_Jackfruit813 · 2026-09-25
- Agent 循环跑在哪、怎么失败:一篇讲透会话持久化的工程文章 — tempNull · 2026-09-25
- 像素画 prompt 被封装成 pixel-anims skill 开源，附更多示例 — majidmanzarpour · 2026-09-25
- 网友用 Opus 5.5 一段 prompt 纯代码生成会动的像素法师 — majidmanzarpour · 2026-09-25
- 用 Opus 5.5 搭建可视化 Claude Code 编排界面,agent 们下班后自己开工 — EricBuess · 2026-09-25
- System 1 模型 Jev 正在改变记忆与上下文工程的做法 — julianweisser · 2026-09-25