NVFP4 权重无损压缩省 6GB 显存,可全部让给 KV-cache
TheZachMueller · x · 2026-10-16
一条针对「无损量化」说法的技术澄清:该方案并非无损量化,而是对 NVFP4 权重的无损压缩。同样精度下典型的 NVFP4 会大出约 6GB,而用这种压缩方式可以在权重完全比特一致的前提下,把省出的约 6GB 显存全部留给 KV-cache 使用。
所属事件:NVIDIA NVFP4 权重无损压缩新技巧:省约 6GB 显存且比特精确(2 条相关)→
「Infra」频道最新
- Google Willow 芯片量子纠错降 40 倍,比特币 Q-Day 或提前 — jamestagg · 2026-10-16
- Vibe coding 数据管道易,亿级生产可靠难:八大数据工程课题清单 — Zachly · 2026-10-16
- 大型数据中心仅约50-150个常驻岗位,微软首楼约50名全职员工 — brezina · 2026-10-16
- 2027 年笔记本将跑 Opus 5.5 级模型?Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩,市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起,AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16