Co-LMLM：360M参数小模型靠外置检索超越4T token大模型
yoavartzi · x · 2026-07-14
研究团队提出了 Co-LMLM（Continuous-Query Limited Memory Language Models）这一新架构，能够在预训练规模下处理通用网络文本，并通过引入高效的外部检索机制来外置事实知识。
实验结果表明，该架构具有极高的参数效率：
- 更低困惑度：仅使用 1000 亿 token 和 3.6 亿（360M）参数训练，其困惑度（PPL）就大幅超越了使用 4 万亿 token 训练的常规模型。
- 事实问答更强：在 SimpleQA-Verified 基准测试中得分 21.7，与 GPT-4o-mini、Claude 3.5 Sonnet 等前沿大模型持平甚至更优。
「研究」频道最新
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11