General Compute 联手 Positron 异构组合破解推理瓶颈

LLM 推理中自回归解码的瓶颈通常在内存带宽而非算力，增加 FLOPs 并不等于更高 tokens/sec。为此 General Compute 与 Positron AI 达成合作，采用异构分工：GPU 负责 prompt 预填充，Positron 面向内存带宽优化的专用硬件负责解码出 token，以缓解大模型推理的内存带宽瓶颈。

2026-10-21 ~ 2026-10-21 · 2 条相关

• GPU 管预填、Positron 管解码:异构推理组合瞄准内存带宽瓶颈 — cneuralnetwork · 2026-10-21
• General Compute 携手 Positron：GPU 管提示，专用内存硬件管出 token — aftahi_ai · 2026-10-21