探讨 AFD 解聚合与 KV Cache 兼容性

GavinSBaker · x · 2026-08-26

Gavin Baker 在技术讨论中分析 Attention-FFN 解聚合（AFD）与数据局部性的兼容性问题，特别是关于不移动 KV Cache 的约束。他指出 OpenAI 的 Jalapeño 项目并未否定解聚合路线，而是专注于一种与数据局部性兼容的拓扑结构：在 Jalapeño 上计算 prefill 和 attention，而在另一块芯片上计算 FFN。他提到 OpenAI 目前显然正在 GPU 集群上大规模使用相对粗糙的解聚合推理（PD），并认为 AFD 是一个很难的网络问题，但通常优于简单的 PD 解聚合。