FactorEngram 论文：基向量级门控的因式分解 n-gram 记忆，超越 Engram
pmttyji · reddit · 2026-10-06
arXiv 新论文 FactorEngram 改进 lookup-based 记忆扩展方案。现有设计（如 Engram）把每个检索到的 n-gram 嵌入当作整体单元存放在独立哈希槽、由单个标量门调制，导致多义模式无法按上下文选择性读出记忆组件，参数也只能通过语义无关的哈希碰撞共享。
FactorEngram 的做法：
- 在跨模式共享的基向量字典上检索经稀疏正则的系数，相关模式可复用公共组件
- 用骨干隐藏状态对每个基向量打分，在重建前逐分量门控，实现上下文对每个记忆组件的单独调制
- 同时覆盖单 token 与多 token n-gram，并系统研究记忆分支插入位置
在 340M 与 1B 参数 Transformer 骨干上，FactorEngram 提升了语言建模与下游任务表现；消融实验确认各组件贡献，最佳配置为在中层注意力子层之前插入记忆分支。
「研究」频道最新
- 研究者痛批 AI 辅助科研放弃「洞察」：基础问题不会因 AI 而失色 — mboehme_ · 2026-10-24
- arXiv 论文《Can LLMs Anticipate Their Cruxes?》全文上线 — rohanpaul_ai · 2026-10-24
- 芝大论文:LLM 说不清自己决策的关键分歧点,抽样对比才有效 — rohanpaul_ai · 2026-10-24
- 九章 4.0 号称 25 微秒完成超算 10^42 年的算题,但任务无实用价值 — AryHHAry · 2026-10-24
- Mila 论文：让多模态模型画「思考图」提升跨视角空间推理 — aagrawalAA · 2026-10-24
- OSDI 论文再翻红:轻量级形式化验证能否守住 Vibe Coding 时代 — tianyin_xu · 2026-10-24