伪自蒸馏让小模型追平 GPT-4.1-mini 的 Agent 记忆检索
burny_tech · x · 2026-09-25
arXiv 论文《PSD: Pseudo Self-Distillation of Memory Representation Capabilities for LLM Agents》(Microsoft 研究团队 Pirzada Suhail、Menglin Xia、Xuchao Zhang 等) 提出用伪自蒸馏 (Pseudo Self-Distillation) 训练小模型，使其在 Agent 记忆检索任务上追平甚至超过 GPT-4.1-mini。
- 方法：利用黑盒 oracle 的输出作为训练信号，把前沿大模型在记忆表征上的能力蒸馏进 0.6B–4B 的本地小模型；
- 效果：在长期运行的 Agent 架构中，可用廉价本地模型替代昂贵的前沿 API 调用，完成记忆整合与层级索引任务，显著降低部署成本。
「编程与Agent」频道最新
- 零基础用 Blender+Claude+Seedance，30 分钟做出 3D 动画视频 — FinanceYF5 · 2026-11-11
- Explosion 发布 Ellf 目录：52 个 NLP 模板与多智能体标注工作流 — _inesmontani · 2026-11-11
- 梗图吐槽:所谓随机 AI Agent 架构就是换了马甲的马尔可夫链 — PrasoonPratham · 2026-11-11
- OpenCode 上线 Gemini 4 Carbon 与 Claude Fable 5.2 — dean_rie · 2026-11-11
- OpenClaw 发布 v2026.11.3 安全补丁，56 个 PR 修复凭证泄露 — dean_rie · 2026-11-11
- Fable 5.2 首日拿下编码 Agent 中 1/4 的 Claude 回复 — dean_rie · 2026-11-11