CAROT 用最优传输做词级跨语言对齐,多语言任务精度最高提升 11.2 点
Bollegala · x · 2026-09-11
作者公开了被 EMNLP 2026 主会接收的多语言对齐方法 CAROT 的预印本与代码。
- 问题:现有跨语言对齐(CLA)方法忽视内部表示中编码的语言特有信息,且只做句子级对齐,导致性能下降和输入输出语言不一致。
- 方法:CAROT 先从 LLM 内部状态中识别语言特有表示,在保留这些信息的同时,用最优传输(optimal transport)在 token 级别对齐语言无关的表示。
- 结果:推理时 steering 实验中,在保持输入输出语言一致的前提下,多语言任务精度最高提升 11.2 个百分点;将 CAROT 表示作为训练目标微调模型后,18 个评测设置中 11 个超越现有 CLA 方法。
代码与论文链接见原帖(GitHub: ynklab/CAROT)。
「研究」频道最新
- 哈工大提出 EASE:证据锚定空间注意力,让多模态 RLVR 答对也看对地方 — jiqizhixin · 2026-09-11
- P=NP 到底难在哪：排课表与电路布线才是真正的硬骨头 — thesaraharminta · 2026-09-11
- 技术假说:ASI 会因数学激励而永久保护人类多样性 — No_Cause_2731 · 2026-09-11
- MutexaGPT:LLM翻译直觉,分子动力学筛选酶突变,命中率40% — bravo_abad · 2026-09-11
- 单作者ECCV 2026论文:让卷帘快门失真修正实用化 — ducha_aiki · 2026-09-11
- MetroLLM-Bench：小模型微调后可在交通自助机任务上比肩大模型 — continker · 2026-09-11