开源语音转写清理模型：1.2B 微调后本地 0.18 秒追平云端
stephan273 · reddit · 2026-10-28
开发者为语音转文字应用 WhisperNow 微调了专用 LLM 做转写清理（去填充词、假开头、自我纠正、格式化列表），全程本地运行，MIT 开源。
数据集：66,557 行，合并公开数据集（aawaaz、handy、Disfl-QA）加合成听写（邮件、会议记录、食谱、口令），用云端模型按应用同款 prompt 生成干净版本；训练中发现长听写、误听词、截断词、字面纠正词（如「scratch behind the dog's ears」）四类弱点后补充数据再训。
模型与速度（单张 H100/H200 全参微调，RTX 5070 实测 100 词听写）：
- LFM2.5 1.2B：1.6 GB 显存，0.18 秒（CPU 2.3 秒）
- LFM2.5 2.6B：0.34 秒
- Qwen3.5 4B：0.62 秒
对比云端 API：Claude Haiku 5.5 / gpt-6-luna 约 1.4 秒，glm-5.3-flash 2.6 秒。
评测：用 judge 模型统计事实错误（丢漏/篡改/保留被纠正内容/编造），共 4,170 行测试集。25 词以内三个小模型错误率都低于 glm-5.3-flash；4B 在任意长度都优于 glm-5.3-flash，100 词内追平最高推理档的 glm-5.3；原版 LFM2.5 2.6B 错误率约为微调版的 4 倍。云端中 Haiku 5.5 与 gpt-6-luna 性价比最佳。
「编程与Agent」频道最新
- IBM 技术大会总结企业落地 AI 智能体的三大挑战 — craigmullins · 2026-10-29
- Pydantic 作者 FastAPI 大会分享：如何搭建反馈回路让模型写出好代码 — samuelcolvin · 2026-10-29
- 项目经理自述:AI Agent 已自动化其 70% 日常工作 — Theinkling620 · 2026-10-29
- Vercel 工程师分享 video.md:给人和 agent 看的视频生成工作流 — JohnPhamous · 2026-10-29
- Expo 晒 AI 编码打造原生 iPhone 双人应用,发布赶在预约 AppleCare 前 — Dimillian · 2026-10-29
- LangChain:MDA 上线动态调度后 70% 运行来自定时任务 — LangChain · 2026-10-29