通过 ShimQuant 修补，Nemotron 16GB 显存运行成真
Daxfortuna · reddit · 2026-08-30
作者开发了 ShimQuant 技术来量化 Nemotron-3.5-Lightning 模型。由于该模型张量宽度非 256 倍数，传统量化工具无法有效压缩（仅能到 4.7 bpw）。作者通过在量化时填充并在推理时切片，实现了 3.07 bpw（11.77 GiB）的体积，使其能在 16GB 显存显卡上运行。该方案在 HumanEval 上得分 91.5%，与 19.65 GB 版本持平，但需要打补丁的 llama.cpp 支持。
「Infra」频道最新
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16
- DuoDiscover 让 Agent 自建快速评估代理，TPU 内核提速 2.68 倍 — berkeley_ai · 2026-10-16
- Google 将 2026 年资本开支上调至最高 2050 亿美元 — emmanuelvivier · 2026-10-16
- Google 开源 AX:像 Kubernetes 一样编排数十亿 Agent 任务 — thisdudelikesAI · 2026-10-16