把事实放进可编辑记忆的语言模型
amaarora · x · 2026-07-19
这条转发介绍了一篇把“检索”直接纳入预训练的论文 Co-LMLM。核心思路是把事实存进可编辑的文本记忆，而不是只压在权重里：
- 先标记事实跨度，训练时避免模型死记这些内容；
- 给每个跨度配对一个问题，学习对比式检索空间；
- 推理时用一个特殊 token，把隐藏状态变成向量查询；
- 再把可读的原始事实片段插回上下文继续生成。
作者给出的结果显示，在 360M 参数规模下，动态检索能把 SimpleWiki perplexity 从 14.0 降到 10.5，FactScore 从 10.0 提升到 34.2；同时事实也可以在不改权重的情况下被移除。配图还强调了：这种“外置记忆”既能提升事实性，又保留一定可读性与可删除性。
「研究」频道最新
- 腾讯团队发 HiSTEVE 1.0：纯键鼠操作让 VLA 智能体自主玩 Minecraft — _akhaliq · 2026-10-26
- 上交大提出 VaM：用价值预测作记忆，机器人连续 4 小时自主作业成功率超 95% — chris_j_paxton · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- 作者：盼合同形式化成为连接 AI 与经济学的「MDP 时刻」 — xuanalogue · 2026-10-26
- 研究发现：前沿 LLM 常为私利单方面撕毁 AI 合同 — xuanalogue · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26