把事实放进可编辑记忆的语言模型
amaarora · x · 2026-07-19
这条转发介绍了一篇把“检索”直接纳入预训练的论文 Co-LMLM。核心思路是把事实存进可编辑的文本记忆，而不是只压在权重里：
- 先标记事实跨度，训练时避免模型死记这些内容；
- 给每个跨度配对一个问题，学习对比式检索空间；
- 推理时用一个特殊 token，把隐藏状态变成向量查询；
- 再把可读的原始事实片段插回上下文继续生成。
作者给出的结果显示，在 360M 参数规模下，动态检索能把 SimpleWiki perplexity 从 14.0 降到 10.5，FactScore 从 10.0 提升到 34.2；同时事实也可以在不改权重的情况下被移除。配图还强调了：这种“外置记忆”既能提升事实性，又保留一定可读性与可删除性。
「研究」频道最新
- Tabul AI 推出 Metal TreeSHAP，加速 Apple silicon 上的 Shapley 计算 — Scobleizer · 2026-07-22
- Reddit 转发 OpenAI 的 ChatGPT 广告页面 — EcstaticAsparagus509 · 2026-07-22
- 开源 runtime 让每个仓库自定义 AI 代码审查器 — ibabufrik · 2026-07-22
- Claude 辅助写成的 Rust 太空经济模拟器，能跑数百艘自治船只 — kalcode · 2026-07-22
- OpenAI 与 Apollo 推出 Contrastive SDF 量化奖赏投机 — OpenAI · 2026-07-22
- NVIDIA：先调好 Harness，再去调模型 — NVIDIAAI · 2026-07-22