FP8 权重占 BF16 显存，KV 缓存仍是最大瓶颈
AlpinDale · x · 2026-08-28
讨论了在支持 FP8 激活（如 sm89+）的硬件上，FP8 检查点占用 BF16 显存时的性能权衡。观点认为除非模型巨大，KV 缓存仍是 VRAM 的主要消费者。
「Infra」频道最新
- GPT 大降价致 Token 消用量激增 13.8 倍 — scaling01 · 2026-08-28
- DwarfStar 新增 GLM 5.3 Flash 分支：MacBook 支持张量并行 — antirez · 2026-08-28
- NVIDIA 收购 llama.cpp 后，二手 V100 还能当低价显存捷径吗？ — OnlineParacosm · 2026-08-28
- 特朗普半导体关税政策或引发美数据中心危机 — pstAsiatech · 2026-08-28
- 实测：Qwen 3.8 Flash Next 在低配硬件上的表现 — Agitated_Force_9199 · 2026-08-28
- SP1 Prover 上 Metal GPU 实测：BTC 头证明提速 6 倍、内存省半 — StefanoGogioso · 2026-08-28