微软披露1350万次Copilot会话：Agent调度不能照搬Chat
rohanpaul_ai · x · 2026-08-09
微软最新论文分析了 GitHub Copilot 的 1350 万次生产会话，指出编码智能体的基础设施调度策略不应与普通聊天请求混为一谈。
- 调用分布：高达 87% 的 LLM 调用由 Agent 自主发起，而非用户直接触发。单次用户提问会扇出大量模型调用、工具执行与重试。
- KV Cache 特征：缓存命中率高度依赖工作流位置。在同一轮对话内，首次调用命中率约 45%，第三次及之后跃升至 92-94%；但在跨轮次边界处骤降至 55%，切换模型时更是跌至 8%。
- 闲置时间：轮次内的中位缓存闲置时间仅 1.2 秒，跨轮次则高达 172 秒；容器闲置时间也从 5.8 秒飙升至 243 秒。
- 调度建议：基于轮次和会话级特征，论文提出的轻量级预测器能捕获 86-90% 的总闲置时间。基础设施应基于工作流状态进行调度，以优化缓存卸载和容器回收。
「Infra」频道最新
- Nscale 数据中心液冷屡漏半年起火，挪威查出10项安全违规 — saranormous · 2026-10-16
- WSL 3.0 发布:内置原生容器,高频系统调用内核耗时降约 16% — solyarisoftware · 2026-10-16
- 魔改 22GB RTX 2080 Ti 跑本地 LLM,值不值?作者求实测经验 — Dave86ch · 2026-10-16
- Intel 开源低比特量化库 neural-compressor:支持 FP4/MXFP4/NVFP4 — HaihaoShen · 2026-10-16
- 770B 参数压进 214GiB：腾讯混元量化团队拆解 Hy4 Preview 压缩术 — coolmum18 · 2026-10-16
- TokenSpeed MLA 2 适配英伟达 Vera Rubin，解码内核较 B200 提速 3.44 倍 — zhyncs42 · 2026-10-16