320B 模型跑上 Mac：OrcaSAQ 量化法让 GLM-5.3 落地苹果芯
alejandroll10 · x · 2026-08-27
OrcaRouter 宣布将 320B 参数的 GLM-5.3-Flash 原生引入 Apple Silicon。为此团队发明了 OrcaSAQ（Orca 敏感度感知量化）方法，支持 2/3/4/6-bit 原生 MLX 量化，无需校准且感知架构。在 6-bit 量化下，其 Top-1 准确率相比 FP8 达到 97.76%，实现了接近 FP8 的保真度与大幅降低的显存占用。
「Infra」频道最新
- Bloomberg 算账:得州 AI 数据中心 1GW 场地建设成本失控 — rohanpaul_ai · 2026-10-15
- 系统设计面试必懂的 7 个分布式算法 — goyalshaliniuk · 2026-10-15
- 面壁 MiniCPM-V 4.7 端侧跑 35B 多模态,仅 3GB 内存、每 token 激活 3B — nevrekaraishwa2 · 2026-10-15
- Sipeed MaixStation 产品页上线，端侧 AI 开发套件来了 — xlltt · 2026-10-15
- 英伟达市值已超过印度整个股市 — theteknosaur · 2026-10-15
- 实测 Apple Silicon GEMM 性能:M6 矩阵单元 fp8 达 fp16 两倍,M5 不支持 — Brilliant-Hall1387 · 2026-10-15