oQe 量化全面更新:代码 KL 散度最高降低 18%
huggingface · x · 2026-10-13
oMLX 作者 Jun Kim 发布改进版 oQe 量化模型,随 oMLX 0.7.1 上线,共更新 69 个模型(涵盖 Qwen3.8-27B、Qwen3.8-Flash-Next 等)。
关键改进:
- 相比旧版 oQe,相对 BF16 原始模型的 KL 散度在代码上降低 11.6–18.1%,散文文本上降低 10.2–13.8%(如 Qwen3.8-27B oQ4e 代码 0.0143→0.0117)
- oQ4 以下时 Engram 和 N-gram 表固定保持 4 bit 且不计入位预算,可由 SSD 直接服务,把完整位预算留给模型其余部分
- 模型卡新增位分布与存储占用明细
作者提醒旧版构建需重新下载。作者本人已加入 Hugging Face 支持 MLX 社区。
「Infra」频道最新
- Neocloud 整合地图：物理资产与平台深度是两条独立路线 — AccBalanced · 2026-10-13
- 算力能像石油一样交易吗？GPU 租赁指数给出最新行情 — AccBalanced · 2026-10-13
- Ai2 发布 Olmo-core 3 训练框架，MoE 模型可扩展至万亿参数 — dl_weekly · 2026-10-13
- Liquid Inference 上线数日：服务约 20 亿 tokens，缓存命中率 88% — AccBalanced · 2026-10-13
- 旧笔记本变身免费安防卫士：独立开发者用本地 LLM 做 Observer — Roy3838 · 2026-10-13
- NVIDIA 直播：靠内存优化在 Jetson 上跑更大模型并降本 — NVIDIA Developer · 2026-10-13