Maple 剪枝方案:6GB 显存跑 Gemma 4 26B,45 TPS
AmSach · hn · 2026-11-08
Show HN 项目 Maple:针对 MoE 模型的亚 2-BPW 剪枝方案,可将 26B 级别的 Gemma 4 模型压缩到 6GB 显存的 GPU 上运行,并达到约 45 tokens/s 的生成速度。目标是让消费级/低端硬件也能本地跑大参数 MoE 模型,代码已在 GitHub 开源。
「Infra」频道最新
- 传英伟达500亿美元AI融资工具遭施压，被要求提高25%残值担保 — dinabass · 2026-11-13
- AI工程师GPU底层教程：从token流转、显存计算到量化与多卡切分 — kmeanskaran · 2026-11-13
- 台积电证实员工信息遭泄露：经云服务商外流，未发现自家系统被入侵 — TinfoilTricorn · 2026-11-13
- CoreWeave Q3 营收 36.6 亿美元涨 168%,签约 Wayve 训练 AI Driver — thursdai_pod · 2026-11-13
- 67B 图像模型跑进 16GB MacBook Air:MLX 移植峰值内存降至约 2.5GB — FlimsyBrief4232 · 2026-11-13
- SimpleHC：去掉残差混合，仅 2.4% 额外训练时间逼近 mHC 性能 — dots-studio · 2026-11-13