CLM-8B 移植 MLX：冻结 Qwen3 编码器，Mac 本地 336 tok/s 出类型化答案
WebAssemblyMan · reddit · 2026-09-26
社区开发者将开源 CLM（Contrastive LM，自称「System One 模型」）移植到 Apple MLX。思路类似闭源 API 产品 TypeSafe AI 的 Jev：不生成文本，直接以嵌入相似度返回带概率的类型化答案（是/否、选项、打分）。
关键数据：
- 架构：冻结 Qwen3-8B 编码器 + 小型 fp32 头，Apache-2.0 开源
- 8-bit 权重 7.5 GiB，M3 Pro 上约 336 tok/s、峰值内存 9 GB
- 与作者官方 vLLM 服务在 778 个问题上对比：top-1 一致率 99.0%，在其运行噪声范围内
本地跑、免费、无 API 调用，适合高频 yes/no / 多选类判定场景。作者注明为未经 CLM 作者审核的非官方移植，权重与代码已在 Hugging Face 开放。
「Infra」频道最新
- 新泽西高尔夫球场照片揪出数据中心 62 台违规燃气发电机 — mkheck · 2026-09-26
- Akamai 拿下与 Anthropic 的 116 亿美元云协议,CEO 称将改善利润率 — pdamodaran · 2026-09-26
- MLXUI 开源：按内存筛选一键装模型，Mac 本地跑全模态 AI — WebAssemblyMan · 2026-09-26
- 因 LPDDR4X 疑似短缺,三星最低端手机也改用 LPDDR5 — zephyr_z9 · 2026-09-26
- 双 GB10 集群调优 GLM-5.3-Flash:32k 预填充提速 20% — EAccelerate_42 · 2026-09-26
- Google 免费放出 GPU 大师课：DeepMind《How to Scale Your Model》教程更新 — mdancho84 · 2026-09-26