Meta 小团队数月从零训出 30B 模型并压进 32GB 显卡
Meta 工程师 TimDarcet 分享，他与 Parth、Kelvin、Anton 等人在几个月内组建团队、搭起完整训练流水线，从零训练出一个名为 Muse Glimmer-30B 的 LLM，称结果「相当不错」，并认为这是 Meta 开源「第二纪元」的一个有希望的起点。模型虽能装进显存，但内存带宽与吞吐仍有压力，团队通过量化与投机解码两条路线解决部署问题。
已确认
- 模型为 Muse Glimmer-30B，由小团队数月内从零训练完成。
- EvoPress 量化方案由进化搜索得到：平均精度 75.6%（bf16 为 75.7%），平均回答长度 11417（bf16 为 11070），权重体积从 56GB 降到 19GB，几乎无损。
- 量化方案通过贪心与进化搜索自动寻找，目标是同时最小化显存占用与困惑度误差，得到两个帕累托最优权衡点；TimDarcet 确认结果达到帕累托最优。
- 配备 DFlash 投机解码 drafter：5 层 draft、block size 16（每次预测 16 个 token），以缓解内存带宽与吞吐压力。
- 最终使 30B 参数模型可在 32GB 显卡上运行。
为什么重要
该工作展示了一个小团队在数月内完成从数据到训练、量化、推理加速的全链路实践，尤其是搜索式量化加投机解码的组合，为消费级显卡部署中等规模模型提供了可参考的路径。giffmana 亦转述了其量化研究思路，并调侃式追问为何不用 agentic search，侧面反映该方向受关注程度。
2026-10-21 ~ 2026-10-21 · 5 条相关
- 第 1 集:Meta 开源 30B 端侧 Agent 模型 Muse Glimmer(2026-10-20,5 条)
- 第 2 集:Meta 小团队数月从零训出 30B 模型并压进 32GB 显卡(2026-10-21,5 条)
一手来源
- 小团队数月从零到百造出 LLM，称 Meta 开源将迎第二纪元 — TimDarcet ·
- EvoPress 量化让 30B 模型从 56GB 压到 19GB，精度几乎不掉 — TimDarcet ·
- 30B 参数如何塞进 32GB 显卡：搜索式量化+投机解码双管齐下 — TimDarcet ·
- 【源头】30B 参数如何塞进 32GB 显卡：搜索式量化+投机解码双管齐下 — TimDarcet · 2026-10-21
- 【源头】EvoPress 量化让 30B 模型从 56GB 压到 19GB，精度几乎不掉 — TimDarcet · 2026-10-21
- Muse Glimmer-30B 配 DFlash drafter：分块 16 token 提速推理 — TimDarcet · 2026-10-21
- 【源头】小团队数月从零到百造出 LLM，称 Meta 开源将迎第二纪元 — TimDarcet · 2026-10-21
- 用贪心与进化搜索找自定义量化方案，兼顾显存与精度 — giffmana · 2026-10-21