大家都在卷 decode,本地 LLM 的 prefill 提速反而没人管
Zeeplankton · reddit · 2026-10-15
Reddit 用户观察:本地 LLM 社区都在用 Sushi、Splash 等定制方案优化 decode(作者在 M3 Max 上跑 QFN 已达 40 tok/s),但 prefill 速度长期停滞。
- 作者尝试在 QFN 上做层/注意力传播与 KV cache 近似,prefill 从 400 tok/s 提到约 850 tok/s(约 2 倍)
- 代价是 needle-in-haystack 测试明显变差——用精度换速度
- 抛出问题:有没有更聪明的 prefill 优化方案,还是慢 prefill 本质是硬件瓶颈?
讨论方向对本地铁推/长上下文场景有实际意义:decode 已够快时,prefill 才是首 token 延迟的大头。
「Infra」频道最新
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- NVIDIA 加入欧盟 AI in Science 计划，向欧洲科研界开放算力与培训 — nordicinst · 2026-10-15
- 开源社区担忧:AI 数据中心挤占产能,本地跑大模型将成少数人特权 — Dante_77A · 2026-10-15
- NVIDIA 助欧盟 AI in Science 计划：35 台超算将服务 300 万研究者 — NVIDIA Blog · 2026-10-15
- 黄仁勋：2027 年 AI 瓶颈是 35GW 电力，AI 收入足以支撑 capex — BG2 Pod · 2026-10-15