分词导致跨语言知识失效，新方法提升 14 倍
LChoshen · x · 2026-08-30
研究发现，LLM 在跨语言知识迁移上表现不佳，根源在于预训练阶段的分词空间割裂。即使文本和语义完全相同，只要使用不重叠的 Token 空间，模型就会出现“知识隔舱”效应，无法跨语言调用知识。
论文通过控制实验验证了这一点，并提出简单按词翻译映射到共享 Token 空间的方法，成功将跨语言知识学习效率恢复了 12.6%（相比基线提升 14 倍）。
「模型」频道最新
- 博主实测：argon 日常全面能打，但重度编码仍略逊 Claude — iruletheworldmo · 2026-10-16
- OpenAI 发布 GPT-Live-1.1：语音新增多语言声音、口音更准停顿更自然 — CurieuxExplorer · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- RoboVista 机器人理解基准发布:Gemini-4 Argon 81.9% 登顶 — berkeley_ai · 2026-10-16
- 开发者实测:决策模型 jev 质量跑赢 GPT-6-Luna — genmon · 2026-10-16
- Reddit 用户求证 Google AI Pro 订阅中 Argon 4 用量上限 — Consistent-Text-2662 · 2026-10-16