探讨 AFD 解聚合与 KV Cache 兼容性
GavinSBaker · x · 2026-08-26
Gavin Baker 在技术讨论中分析 Attention-FFN 解聚合（AFD）与数据局部性的兼容性问题，特别是关于不移动 KV Cache 的约束。他指出 OpenAI 的 Jalapeño 项目并未否定解聚合路线，而是专注于一种与数据局部性兼容的拓扑结构：在 Jalapeño 上计算 prefill 和 attention，而在另一块芯片上计算 FFN。他提到 OpenAI 目前显然正在 GPU 集群上大规模使用相对粗糙的解聚合推理（PD），并认为 AFD 是一个很难的网络问题，但通常优于简单的 PD 解聚合。
所属事件:Agent 场景下 KV Cache offloading 仍是未解难题(2 条相关)→
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15