新 MLX 量化方案实测:82G 显存跑赢 95G,Mac 本地多开智能体
WinterCharm · reddit · 2026-08-02
开发者耗时 9 天为苹果 MLX 生态打造了全新的量化方案 WinterMix，并在 M5 Max MacBook Pro (128GB) 上对比了 18 种变体。
- 核心优势：MLX 在苹果芯片上比 llama.cpp 快得多（预填充快约 9 倍，生成快约 20%），但此前的低比特 MLX 量化存在严重的推理降智和幻觉问题。WinterMix 作为原生格式，无需自定义内核即可直接使用。
- 版本表现：WinterMix58（82 GiB）在 2K 和 16K 上下文的困惑度测试中，击败了 94-95 GiB 的 6-bit 主流方案；WinterMix48（68 GiB）在 128G Mac 上可同时驻留 5-8 个 100K token 的 Agent 会话。
- 行为差异发现：作者在测试中发现了一个反直觉现象——统计上困惑度完全相同的两个量化模型，在实际运行中触发“自我打断（如‘等等，让我再检查一下’）”的频率可能相差 2.5 倍。
目前模型权重已基于 Apache 2.0 协议在 Hugging Face 开源。
「编程与Agent」频道最新
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- 开发者分享给电脑上的 Agent 划权限:能读能写,发删买一律先问人 — No_Fan5310 · 2026-10-16
- 开发者用GPT写出unifi-simulator,让MikroTik交换机伪装进UniFi网络拓扑 — Pytlicek · 2026-10-16
- 斯坦福 45 分钟课拆解 Grok Bot:always-on agent 的 harness 工程 — Hesamation · 2026-10-16
- Opus 5.5 + Three.js 打造水波鱼群樱花互动场景，美到刷屏 — nikola_mr64990 · 2026-10-16
- 用 Grok 搭建线性回归交易系统，125 天在 Polymarket 赚 50 万美元 — Roger_M_Taylor · 2026-10-16