Gemma 4 NVFP4量化发布
kalyan_kpl · x · 2026-07-15
Unsloth 发布了 Gemma 4 的 NVFP4 量化版本，主打更快的 GPU 推理与更低显存占用。
- 12B 版本可在 11GB VRAM 上运行
- 26B-A4B 在 B200 上可达到 13K tok/s
- 官方称相较现有方案可实现 1.5× 的推理速度提升
- 重点是面向 Blackwell 架构的更准确 4-bit 推理优化
帖子还附带了博客和模型链接，属于具体可用的推理优化更新。
所属事件:Unsloth推出Gemma 4量化版降低推理显存门槛(2 条相关)→
「Infra」频道最新
- Claude 近半营收来自云市场渠道，占比三年内从 11% 涨至 47% — BenBajarin · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26