把事实放进可编辑记忆的语言模型
amaarora · x · 2026-07-19
这条转发介绍了一篇把“检索”直接纳入预训练的论文 Co-LMLM。核心思路是把事实存进可编辑的文本记忆，而不是只压在权重里：
- 先标记事实跨度，训练时避免模型死记这些内容；
- 给每个跨度配对一个问题，学习对比式检索空间；
- 推理时用一个特殊 token，把隐藏状态变成向量查询；
- 再把可读的原始事实片段插回上下文继续生成。
作者给出的结果显示，在 360M 参数规模下，动态检索能把 SimpleWiki perplexity 从 14.0 降到 10.5，FactScore 从 10.0 提升到 34.2；同时事实也可以在不改权重的情况下被移除。配图还强调了：这种“外置记忆”既能提升事实性，又保留一定可读性与可删除性。
「研究」频道最新
- Cognition SWE-2 用 KKT 对偶优化长度惩罚，一次 RL 推移 Pareto 曲线 — YouJiacheng · 2026-09-11
- VidMap 用 RoMa 粗匹配全帧、精细匹配仅限关键帧 — ducha_aiki · 2026-09-11
- Bug Hunt Bench 作者补充:榜单噪声幅度约 2-3 分 — PawelHuryn · 2026-09-11
- 台球计算模型登 PNAS:二维系统已存在不可判定性,可跑通用计算机 — eigensteve · 2026-09-11
- 新研究:从仿射变换与重力线索求解绝对位姿 — ducha_aiki · 2026-09-11
- LoMa 论文发布 REALLY HardPairs 数据集,入选 ECCV 2026 — ducha_aiki · 2026-09-11