权重压到 -1/0/+1:语音模型从 2.4GB 瘦身到 181MB,WER 仅升 0.4 个点
lmoroney · x · 2026-10-25
Laurence Moroney 分享了一个语音模型极限量化的案例:将 NVIDIA Parakeet-TDT-0.6B-v2 编码器中约 98% 的参数约束为 -1、0、+1 三值(每行一个 scale),权重文件从 2,472 MB 降到 180.8 MB,七套测试集平均词错率从 6.45% 微升至 6.84%。
精度回补靠量化感知训练加原模型蒸馏:约 33,000 小时音频上跑 25 万步,单张 RTX 5090 用时 69.3 小时。模型卡也坦承短板,最大差距出现在未纳入训练的 Common Voice 测试集。
作者还给出学习建议:想真正学懂量化,就把这样的模型卡从头到尾读一遍,并尝试复现结果表中的某一行。
「模型」频道最新
- 实测 Apple 端侧基础模型：免费本地分类任务 45/49，但易被注入指令带偏 — NellWatson · 2026-10-25
- Reddit 用户盲测 5 款本地 Agent：同一个 Qwen 模型成绩差近一倍 — GapNew4766 · 2026-10-25
- DLSS 5 让 25 年前的老游戏 FFXI 画面惊艳所有人 — eschadiol · 2026-10-25
- Kimi 3.1 Pro 排名第 4 却实战拉胯，AAI 榜单被指易刷分 — PerformanceRound7913 · 2026-10-25
- Kimi K3.1 Pro 攻防评测登顶 46.43%，被指刻意削弱后仍超 DeepSeek — teortaxesTex · 2026-10-25
- 曝 OpenAI 与 Anthropic 拦截逆向智能电视监视的 REA 工具 — kroggens · 2026-10-25