端侧 Agent 受限 KV 缓存,研究者发布上下文压缩算法
Kangwook_Lee · x · 2026-09-29
作者 Kangwook Lee 介绍其在端侧运行的 Ally agent:由于一切都在边缘设备上运行、KV 缓存预算非常紧张,团队为此开发了一套上下文压缩(context compaction)算法,并附上了完整的推理/工具调用/观察过程示例 trace 供逐步查看。
所属事件:Kangwook Lee 团队租韩国网吧招千人陪练，蒸馏 2B 模型实现端侧游戏 AI Ally(5 条相关)→
「编程与Agent」频道最新
- ChatGPT、Claude、Gemini 引用网站逻辑各不相同,AEO 需分别优化 — sahilypatel · 2026-09-29
- 用户称 Opus 5.5 改变了工作方式:Claude Code 桌面端成为主力 — g3off_record · 2026-09-29
- Manus 联创 Tao 将直播讲解 Manus 2.0，9 月 30 日晚 — parker_lyman · 2026-09-29
- KernelZero 7B 协同进化生成 GPU 内核,CUDA pass@1 达 75.8% — Changxin Ke · 2026-09-29
- AgentHop:用配对码让两台机器上的 Agent 端到端加密直连 — Inevitable-Back620 · 2026-09-29
- B2B 会话审计:60% 是闲聊咨询,分级 agent 用 1-2 个问题解围 — hubtyper · 2026-09-29