MemTensor 发布 MemT-1.0:把记忆内化进模型计算的记忆原生架构
MemTensor · hf · 2026-10-20
MemTensor 团队发布 MemT-1.0,提出「记忆原生」基础模型架构,将连续记忆作为模型计算的内在组成部分,让模型能持续积累和利用信息。
技术要点:
- 基于 Metis 骨干,采用 Gated DeltaNet-2,在每轮对话内实现稳定的 token 级记忆更新机制
- 引入 Mixture-of-Storage 扩展原生记忆容量
- 两阶段训练管线(继续预训练 + 后训练),使用 34B token 训练数据
- 发布 MemT-1.0-Nano 和 MemT-1.0-Flash 两个模型
结果: 平均超越参数化记忆基线,与检索增强方法保持竞争力,同时大体保留通用能力;在 128K 历史长度下,Nano 版吞吐显著优于对比方案(摘要截断,具体数字见原文)。
「模型」频道最新
- OpenAI 被吐槽「没容量」：选中的模型直接报 capacity 满载 — cedric_chee · 2026-10-20
- 用户观察：6 Astra、6.1 Sol、6 Luna 均现同一问题，5.6 Terra 幸免 — timigod · 2026-10-20
- 实测对比：DeepSeek V4.1 Flash 耗 4.3 倍 token 慢 2.4 倍，成绩仍在噪声区间 — teortaxesTex · 2026-10-20
- 开发者吐槽 Codex 连续断连 5 小时，OpenAI 状态页却显示一切正常 — timigod · 2026-10-20
- Meta 开源新模型并与 Apple 合作实现本地运行,Stratechery 拆解开放策略 — Stratechery · 2026-10-20
- DeepSeek 搜索索引引好奇：其站点权威度如何评估尚无人知晓 — thejasminejade · 2026-10-20