300M 参数模型仅凭合成数据在上下文中学会六种语言

研究团队发布论文《Learning to Learn a Language》，提出 PFLM(Prior-Fitted Language Model)，将 TabPFN 背后的 Prior-fitted networks 思想从表格数据扩展到自然语言序列。该模型是一个 300M 参数的字节级 transformer，预训练数据完全不含任何真实语言，训练序列全部由从分布中抽取的合成数据构成，仅学习「非语言先验」。实验显示，它能在上下文中学会六种语言，展示了合成数据训练与上下文学习结合的新范式。

2026-10-06 ~ 2026-10-06 · 2 条相关

• 300M 模型只学「非语言先验」,在上下文中学会学会语言 — Lennart Carstens-Behrens · 2026-10-06
• 300M 参数模型仅凭合成数据，在上下文中学会六种语言 — cbl007 · 2026-10-06