AkbasCore MAM:冻结 7B 模型靠“记忆卡带”外挂持久记忆,72 题全对
Nearby_Indication474 · reddit · 2026-10-09
作者发布 AkbasCore MAM 的首个公开验证:给完全冻结的 Mistral-7B 挂上“认知卡带”(cognitive cartridge),即可获得持久、可增量追加的记忆,无需训练、不碰权重、无检索无路由,也不需要把原文放回上下文。密封基准上,append-only 记忆答对 72/72,与模型直接读全文成绩持平;而朴素拼接的多卡带只有 13/72。
核心机制:
- 事实经冻结模型一次前向,保存第 6 层输出隐状态 H6 和 0-6 层的 attention KV,即成一张卡带(约 36 KiB/token,仅为完整 KV cache 的约 1/4),原文可丢弃
- 每张卡带独立生成,互不知晓
- 关键发现:事实在网络中间层(约 7-14 层)才开始相互绑定,0-6 层可完全独立而不损失信息——因此只需让模型上半部分“整合”卡带(方法名 DC6,在第 6 层切分整合),绕过 Transformer 的文本入口
作者指出这挑战了 2017 年 Transformer “一切同时写在同一个窗口里”的隐含假设,或终结“一个巨大上下文窗口”时代。目前只是概念验证,全容量扩展版本在开发中,机制已开源可复现。
所属事件:“记忆卡带”架构让冻结 7B 模型获得持久记忆(2 条相关)→
「模型」频道最新
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- 爆料称 Anthropic 正训练对标 OpenAI 内部模型的新模型 — imjustnewatai · 2026-10-23
- AI 研究者：Claude 替我完成了多年前放弃的繁琐研究任务 — MikePFrank · 2026-10-23
- Dream Labs 出 stealth:双手机器人基座模型 Dream-1,时租仅 3 美元 — scott_e_reed · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- Beam 对战 GLM 5.3 去审查版：10 轮攻防修补 96% 漏洞 — bigblueboo · 2026-10-23