预填充用GPU、解码用专用芯片：General Compute联手Positron做异构推理

rohanpaul_ai · x · 2026-10-21

General Compute 宣布与 Positron 达成集群级部署合作：把 LLM 推理的 prefill（提示词并行读取）放在 GPU 上跑，把逐 token 生成的 decode 阶段交给 Positron 专为内存带宽优化的硬件，再以统一端点卖给客户。

这种拆分遵循物理规律：prefill 是大规模并行计算任务，而 decode 瓶颈主要在从内存拉取权重和 KV cache，单一芯片必须在两者间妥协。Positron 的芯片不依赖 HBM，专为 decode 的内存速度瓶颈设计。硬件将于 2027 年 Q1 上线。