14 岁开发者训练单一模型做语音听写，4GB 显存 0.5 秒出稿

Mehmet_dedeler · reddit · 2026-11-14

一位 14 岁开发者复刻 Wispr Flow 式语音听写，但把「Whisper 转写 + LLM 清理」两步合成一个模型：训练时仍用两段流水线——用开源语音数据让大 LLM 从转写稿生成定稿文本、丢弃丢失真实内容的片段——再微调 Qwen3-ASR 1.7B（Apache-2.0）直接从音频输出成品文本。

效果对比：传统两模型方案在本机（RTX 3050 Ti 4GB）需 2.5～36 秒/次，且两个模型挤不进显存、文本被生成两遍；单模型仅约 0.5～1 秒/次，Q8 量化仅 2.2GB、占用约 2.5GB 显存。质量上也更优——清理 LLM 只见文字，无法识别「说错重讲」的语音线索，单模型能保留真正该保留的内容。已开源为免费听写应用 Typd（支持 NVIDIA Windows 与 Apple Silicon Mac），可在 llama.cpp 上运行。