EMNLP Oral 论文用跨层转码器揭示 LLM 多语言共享表征机制
ZhijingJin · x · 2026-10-27
- Jinesis Lab 等机构的论文（arXiv:2511.10840）入选 EMNLP 2026 Oral，作者包括 Abir Harrasse、Zhijing Jin、Bernhard Schölkopf 等。
- 团队用跨层转码器（CLT）和归因图分析多语言 LLM 的内部机制，发现模型在中间层使用高度相似的跨语言共享特征，语言特定的解码出现在靠后的层。
- 即使完全不用英语训练的模型也呈现同样的多语言共享空间结构；输出语言由最后几层的少数高频特征线性决定，干预这些特征可以抑制一种语言并替换成另一种。
- 模型对比实验解释了非英语表现差的原因：晚期层特征暗淡、中间层聚类弱、tokenizer 偏向英语迫使早期层专注于词重组；微调可强化这些特征并提升表现。
- 配图显示不同多语言数据占比（20%90%）下，多语言熵都在第 4 层左右达到峰值后下降。团队还发布了 9 个多语言模型、3 个微调模型及其 CLT。
所属事件:EMNLP Oral 论文开源多语言模型与跨层转码器(2 条相关)→
「研究」频道最新
- 新论文:数据配比与学习率调度必须联合设计 — jasondeanlee · 2026-10-27
- 学术研究如何真正被采用:选重要问题、做好 eval、易用性决定影响力 — srchvrs · 2026-10-27
- 苦涩教训第二弹:能产生影响的学术发明很少,发表场所并不关键 — srchvrs · 2026-10-27
- 入学一周即当上 ARR 审稿 Area Chair,学者吐槽评审乱象 — anmarasovic · 2026-10-27
- EMNLP 主题演讲:产业界其实在读论文,只是不署你的名 — srchvrs · 2026-10-27
- AISI:80 美元算力微调即可绕过开放生物模型的数据过滤 — connoraxiotes · 2026-10-27