Co-LMLM：360M参数小模型靠外置检索超越4T token大模型
yoavartzi · x · 2026-07-14
研究团队提出了 **Co-LMLM**（Continuous-Query Limited Memory Language Models）这一新架构，能够在预训练规模下处理通用网络文本，并通过引入高效的外部检索机制来外置事实知识。 实验结果表明，该架构具有极高的参数效率： - **更低困惑度**：仅使用 1000 亿 token 和 3.6 亿（360M）参数训练，其困惑度（PPL）就大幅超越了使用 4 万亿 token 训练的常规模型。 - **事实问答更强**：在 SimpleQA-Verified 基准测试中得分 21.7，与 GPT-4o-mini、Claude 3.5 Sonnet 等前沿大模型持平甚至更优。