Co-LMLM：360M参数小模型靠外置检索超越4T token大模型
yoavartzi · x · 2026-07-14
研究团队提出了 Co-LMLM（Continuous-Query Limited Memory Language Models）这一新架构，能够在预训练规模下处理通用网络文本，并通过引入高效的外部检索机制来外置事实知识。
实验结果表明，该架构具有极高的参数效率：
- 更低困惑度：仅使用 1000 亿 token 和 3.6 亿（360M）参数训练，其困惑度（PPL）就大幅超越了使用 4 万亿 token 训练的常规模型。
- 事实问答更强：在 SimpleQA-Verified 基准测试中得分 21.7，与 GPT-4o-mini、Claude 3.5 Sonnet 等前沿大模型持平甚至更优。
「研究」频道最新
- FrontierML 榜单：开源与闭源模型在端到端 ML 任务上差距仍大 — scaling01 · 2026-10-27
- Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- RSNA 2026 深度学习实验室回归:芝加哥四天八节动手 AI 课 — PRouzrokh · 2026-10-27