COLM 新研究:29 种语言追踪主谓一致,揭示多语共享语法回路
nsaphra · x · 2026-10-04
Naomi Saphra 等人(一作 Isabella Gidi)的可解释性论文《Shared Circuits for Shared Grammar》将在下周 COLM 以海报形式展示,研究多语言 LLM 中语法机制是否跨语言共享。
- 研究对象:现在时主谓一致这一跨语言差异极大的形态句法过程,覆盖 29 种语言和 5 个开源模型家族。
- 方法:结合 activation patching 与注意力分析,定位因果相关的注意力头并跨语言比较。
- 发现:有显性人称/数屈折的语言之间,一致机制回路更相似;英语作为"桥接案例",仅在需要显性一致的语境中才更接近屈折语言;许多相关注意力头跨语言呈现相似的注意力模式,说明跨语言重叠既来自共享位置也来自共享功能角色。
- 结论:多语言 LLM 在一定程度上复用跨语言共享的计算回路,共享程度与该语法操作的显性实现形式有关。
「研究」频道最新
- Arthur Gretton 周一开讲:MMD 上的梯度流方法 — ArthurGretton · 2026-10-04
- Tartan IMU 挑战赛收 131 队提交，前十团队将公开方案 — GhaffariMaani · 2026-10-04
- LLM 工作原理拆解:从嵌入生成到自回归循环的三层机制 — gerardsans · 2026-10-04
- 长文质疑「柏拉图表征假说」：统计趋同被误读为形而上学真理 — gerardsans · 2026-10-04
- Daimon 触觉世界模型亮相 IROS:机器人穿珠靠手感而非视觉 — CyberRobooo · 2026-10-04
- 用 Claude 标注 700 篇判例,蒸馏成两个 287M 小模型做文档抽取 — SignificantZebra5883 · 2026-10-04