1245 亿参数压进 22GB：Cactus Quants 量化后 MacBook 跑出 47 tok/s
pbaylies · x · 2026-11-13
Cactus Compute 用自家 Cactus Quants 算法把 Nemotron-3.5-SuperVL-120B 压缩到全文件口径 1.418 有效 bits/weight，并强调「1-bit」标签常只算权重码，而他们的 1.418 是按整个文件计算的。
- 完整 124.45B 参数 checkpoint（含视觉塔、projector、MTP head）仅 22.06 GB
- 在 36GB M5 Max MacBook Pro 上实测约 47 tokens/sec（512 token prompt、128 输出、verified MTP，三次预热运行中位数），峰值内存 21.0 GiB
- 18 个基准上平均相对分数下降 3.6%
- 弱点明确：长 agentic coding 任务上 BF16 解决 24 题、CQ 仅 7 题，差距显著
「Infra」频道最新
- Google Cloud 向 CNCF 捐出三个 Agent 基础设施项目,Agent Substrate 1.0 GA — rakyll · 2026-11-13
- SGLang 峰会：约 95% 合并 PR 已由 Agent 编写 — hsu_byron · 2026-11-13
- Bittensor 全栈去中心化 AI 供应链图谱：128 个子网从算力到推理 — markjeffrey · 2026-11-13
- 一周之内：反数据中心运动护住空地、英伟达重挫、美国经济承压？ — Dan_Jeffries1 · 2026-11-13
- 《Nvidia Way》作者：黄仁勋继任者只有两个人选 — firstadopter · 2026-11-13
- AI SOC 监控智能体兴起，KV cache 优化成网络安全关键路径 — AccBalanced · 2026-11-13