FP8/FP4 实际加速仅约 1.5x 与 2x,远低于理论值
scaling01 · x · 2026-09-07
作者讨论量化精度带来的实际推理加速,认为 FP8 相对 FP16 并非理论上的 2 倍加速,FP4 也远达不到 4 倍,实际可能只有约 1.5 倍和 2 倍;同时认为讨论中 100 天的预期过于夸张、30 天则过于乐观。
「Infra」频道最新
- Actian 发布嵌入式向量库对比,Qdrant 指其自家推荐也非真嵌入式 — qdrant_engine · 2026-09-07
- Yandex 研究:不改权重,靠重组 KV cache 让 LLM 实时交互 — arpit_bhayani · 2026-09-07
- 格陵兰 15Mbps 月费 $124,Starlink 丹麦 200Mbps 仅 $57 引热议 — XFreeze · 2026-09-07
- Red Hat 携手 Hugging Face 在班加罗尔办 PyTorch 系统技术之夜 — PyTorch · 2026-09-07
- 欧盟推进开源模型覆盖 24 种官方语言与共享算力生态 — EvaMaydell · 2026-09-07
- 北方华创展示 64 层 3D DRAM 关键刻蚀工艺，绕开 EUV 延续密度扩展 — pstAsiatech · 2026-09-07