Mach-1模型1.7比特权重推理：7GB显存跑出120 tokens/秒
pbaylies · x · 2026-08-04
Mach-1 Additive 是一款 350 亿参数的模型，它打破了传统矩阵乘法限制，采用 1.7 bits/weight 的极低比特方案。
- 性能与体积：在 12 项智能体和推理基准测试中，恢复了原版全精度模型（Qwen 35b）95% 的性能，但体积缩小了 10 倍。
- 本地部署：模型仅需 7GB 空间，可轻松部署在普通笔记本电脑上，推理速度高达 120 tokens/秒。
- 训练成本：与 BitNet 等传统算法不同，该方法只需不到 15 个 GPU 小时的极少量重训练，具备扩展到超大规模模型（最高 3 万亿参数）的潜力。
目前官方已开放网页端试玩和桌面版下载。
「Infra」频道最新
- Wan2GP 发布：6GB 显存即可运行 Wan 2.2 等视频大模型 — cocktailpeanut · 2026-08-05
- 英伟达加入美国NSF区域AI中心，扩展全美算力与研究资源 — nordicinst · 2026-08-05
- 迈向万安培 AI 芯片：垂直供电技术成算力基建关键 — jwt0625 · 2026-08-05
- 智能体 RL 训练受限于推理：SkyPilot 实现近 50% 提速 — skypilot_org · 2026-08-05
- 硬件架构探讨：为何选择垂直供电而非垂直光互连？ — jwt0625 · 2026-08-04
- CoreWeave官宣2026大会：李飞飞等大咖齐聚探讨生产级AI — wandb · 2026-08-04