293B 记忆原生 MoE MemT 1.0 开源：记忆写进前向传播内部

AKAMA199 · reddit · 2026-10-25

团队发布 MemT 1.0，一个 293B 参数的记忆原生 MoE 架构，声称把对话历史持续压缩进模型内部的持久记忆状态，通过 memory attention 在标准前向传播中直接读写与更新，无需外挂向量库、梯度更新或 agent 编排。在同等上下文预算的内部多轮编码评测中，对早期指令的保持能力显著优于基线，但作者强调这只是自有评测套件的单项对比，尚无公开榜单成绩，原始 trace 稍后放出。36B 和 293B 权重已上线 Hugging Face，可自托管实验。