Reddit 团队发布 293B 记忆原生 MoE:把记忆写进前向传播而非外挂框架

MaterialButterfly135 · reddit · 2026-10-19

做法:MemT 2.0 是一个 293B 的记忆原生 MoE 模型,把历史对话压缩成持久内部记忆状态,模型在正常前向传播中通过 memory attention 读取并更新记忆——无需梯度、无需再训练,记忆的写入/保留/更新/读取都发生在计算内部而非外部框架里。
动机:长编码任务中项目约束、已有决策、已给修正都会随会话结束丢失;长上下文和 RAG 只是重新提供信息,不是真正记住。
评测:作者在内部 Coding 和 Working 测试套件上与基线同预算同环境对比,但明确声明这是内部对比而非承诺,尚无公开榜单数字,计划发布原始 traces。
可用性:36B 和 293B 两个尺寸已在 Hugging Face 完成初始训练;作者询问社区更看重可信公开榜、可自部署的尺寸还是可复现的消融实验。

「模型」频道最新