用全句翻译过滤部分译文,微调 Qwen3-8B 改进实时语音翻译
burkov · x · 2026-10-30
实时翻译需在速度与准确率之间权衡:译得早延迟低,但语音未说完时系统缺乏足够上下文。传统方案靠固定的时间规则控制,无法根据短语的不确定性灵活决策。
文章介绍了一种级联翻译(识别语音交给独立翻译模型)的训练方法:
- 构造「稳定」部分译文:将逐步加长的源前缀翻译结果与完整句翻译对比,只保留与全句翻译一致的目标文本
- 用这些样本微调 Qwen3-8B,让模型学会有选择地判断何时输出才安全
核心思路是用全句译文作为质量锚点,自动生成「哪些部分译文可靠」的训练信号,从而让实时翻译在低延迟下保持准确性。
「研究」频道最新
- Investor's Last Exam 基准：顶级 AI 模型擅长研究但败在投资判断 — Huangfei Jiang · 2026-10-30
- SpecSlot：频谱槽位解耦细节与全局注意力，像素空间生图 FID 降 2.84 省算力 — Jiongfan Yang · 2026-10-30
- Apple 论文：在线强化学习训练 UI 导航 Agent，直接在真实 iOS 应用上练 — apple · 2026-10-30
- KAIST 推出 L3G-World：潜在 3D 高斯记忆实现实时无限世界生成 — kaist-ai · 2026-10-30
- 北航与美图推出 PhysInsert：几何先验实现物理合理的参考图物体插入 — Yue Gong · 2026-10-30
- AB-Attention：免训练块稀疏注意力加速视频扩散 Transformer，高稀疏度下保真 — Bin Xu · 2026-10-30