Clover-35B-A3B 量化后仅 29.4GB，64GB Mac 跑出 42 tok/s
viveky259 · reddit · 2026-10-31
作者分享在 64GB Mac 上本地跑 Clover-35B-A3B-Preview 的完整过程与未解决的问题。
塞进内存
- 混合精度量化：6-bit 为主、部分张量保留 BF16，权重约 29.4 GB
- 只是量化与推理优化，无训练/剪枝/蒸馏
提速手段（MLX + Apple GPU）
- 编译并复用计算，减少重复开销
- 以 8 为块的 block-based 生成
- 将 preview 计算与 token 选择融合为单个编译算子
结果
- 最近 6 次生成：40.30–44.30 tok/s，平均 42.46 tok/s（融合前约 40.05）
- 模型加载约 124 秒；MLX 峰值内存约 29.8 GB；权重放外置 SSD，macOS swap 仍在工作
未解决：质量回退
- 自建 40 例编码+摘要评测：早期快配置 21/40、修复候选 32/40、保守配置 35/40
- 失败包括畸形 Python、错误返回类型、摘要反转限制条件——最新提速并未证明这些问题已修复
结论：本地吞吐很有希望，但质量工作未完成，尚不能替代原推理方案。
「Infra」频道最新
- SenseNova-U1.5-8B 本地实测:M5 Ultra 跑 125 tok/s,还能揪出账单 $1 错误 — Binary_orchid · 2026-10-31
- Cloudflare Durable Objects 默认延迟代码更新，保障长任务 Agent 不被打断 — irvinebroque · 2026-10-31
- Intel 单日暴跌 29%，股价跌破 2000 年互联网泡沫峰值 — mitchdeg · 2026-10-31
- Liquid Agent 登陆 Linux：LFM3 小模型全本地运行，一条命令装好 — JosephJacks_ · 2026-10-31
- 纯本地办公 AI 栈：OCR、Agent、RAG、语音六个开源模型组合 — HowDevelop · 2026-10-31
- a16z 数据：GPU 租金三个月涨 106%，token 价格反跌 58% — a16z · 2026-10-31