EvoPress 量化让 30B 模型从 56GB 压到 19GB，精度几乎不掉
TimDarcet · x · 2026-10-21
TimDarcet 介绍团队用进化搜索得到的 EvoPress 量化方案：平均精度 75.6%（bf16 为 75.7%），平均回答长度 11417（bf16 为 11070），几乎无损，但权重体积从 56GB 降到 19GB。对比方案 Greedy-KL 75.3%、Q4KM 74.8%、NVFP4/MXFP8 74.4%。
所属事件:Meta 工程师数月从零训出 30B 模型，量化加投机解码塞进 32GB 显卡(4 条相关)→
「模型」频道最新
- GitHub Copilot 推出 HydraFusion：按任务动态编排多模型执行 — WirelessLife · 2026-10-21
- OpenVLHarness：让任意多模态大模型在视觉空间中思考与写代码 — yining_hong · 2026-10-21
- 用户实测 Gemini 分析网球视频给出建议，称改善动作还缓解肘痛 — zacharynado · 2026-10-21
- OpenRouter 数据：Opus 5.5 在 29 类任务中 20 类支出第一 — mmurph · 2026-10-21
- 小团队数月从零到百造出 LLM，称 Meta 开源将迎第二纪元 — TimDarcet · 2026-10-21
- 同一作者再谈架构：内存受限时 MoE 未激活参数纯属死重 — TimDarcet · 2026-10-21