OCR+VLM 挖语法书:为 4000+ 低资源语言造翻译训练数据
anas_ant · x · 2026-11-06
Chutong Meng 与 Barron Associates 合作的新论文:通过从语言学档案文献(语法书等)中提取平行语料,大幅改进极低资源语言的翻译。
要点:
- 有网络语料的语言只有几百种,但有语法书等档案数据的语言有数千种,覆盖空间大得多。
- 团队构建了 OCR+VLM 流水线从这类材料中挖掘数据,证明几百到几千句的平行语料就非常有用。
- 实验显示:对无 NLLB 支持的语言,512 句挖掘语料让 Qwen 零样本翻译平均 chrF++ 从 9.36 提升到 30.76(如 ddo 0.17→24.24,mnc 3.92→27.65);有 NLLB 支持的语言平均也从 20.76 升至 29.66。少数语言(dgo)略有下降。
- 意义:低资源语言终于不必只用《圣经》做训练和评测基准了。
所属事件:OCR加VLM挖语法书，为四千种低资源语言造翻译数据(2 条相关)→
「研究」频道最新
- 让全球地表数据可被 AI 查询，Luke Davis 发布数月新作 — dansitu · 2026-11-06
- 诺奖物理学家狄拉克：最好的想法都来自周日独自散步时的放松状态 — CatAstro_Piyush · 2026-11-06
- 聊天模型登顶 16 项机器人榜单，真机插头 11 次全失败 — AIFlow_ML · 2026-11-06
- 概率管推理、统计管量化、机器学习管预测：三者关系一次讲清 — TivadarDanka · 2026-11-06
- Burkov 发布 True Positive Weekly #184:LLM 原生读写神经网络权重 — burkov · 2026-11-06
- 6 个 Claude 智能体在小镇生活 20 天：自发协作造工具捞回工资箱 — LiminalWanderings · 2026-11-06