实战微调 0.8B 模型优化本地语音转文字后处理

MoodOdd9657 · reddit · 2026-08-18

作者在开发开源语音应用 SpeakoFlow 时，遇到 ASR 转录后的润色难题：需纠正口误、排版、去口语化但保留正确内容。测试发现 0.8B 小模型配合详细 Prompt 效果显著提升，认为通过微调可胜过大模型。计划使用 Qwen3.5 0.8B 通过 QLoRA 微调，结合真实数据与合成数据（涵盖不变文本与错误修正案例），最终通过 llama.cpp 部署。作者还对比了 Mac 和 Windows 在模型加载速度上的差异，并征求社区关于最佳基座模型和实际痛点的建议。