Coding Agent 挤爆显存的 KV Cache,英特尔押注 CPU 分层卸载与硬件压缩
量子位 · wechat · 2026-09-16
量子位撰文分析 Coding Agent 时代推理服务的 KV Cache 难题,以及英特尔以 CPU 侧管理为核心的四条技术路线。
「Infra」频道最新
- 马斯克解释为何必须建 Terafab:地缘风险加产能天花板 — elonmusk · 2026-09-16
- Google DeepMind 长文详解分片矩阵乘法:万卡 TPU 训练的通信理论 — zacharynado · 2026-09-16
- RX 9070 跑音乐模型 YuE2 仅约 7 token/s,VRAM 大量闲置引困惑 — Prestigious-Kick7291 · 2026-09-16
- 当模型能力趋同,大模型工作只剩两件事:数据和基础设施 — saurabh_shah2 · 2026-09-16
- SentencePiece Lite 发布:50KB 二进制,tokenization 快 20-30 倍 — heiga_zen · 2026-09-16
- 华为内部万字备忘录泄露:押注昇腾950替代英伟达,不做基础模型 — pstAsiatech · 2026-09-16