把注意力状态写进SSD:Silicon Hippocampus持久记忆架构详解
Nearby_Indication474 · reddit · 2026-10-12
作者团队发布了 AKBASCORE MAM v1.3.0(自称「硅海马体」):一个围绕冻结模型自身内部表示构建的物理记忆系统,不是对话存档、不是文本数据库、也不做微调。
核心思路:模型形成记忆,SSD 存储,RAM 检索,冻结模型回忆。
- WRITE:冻结的 Qwen2.5-7B-Instruct 读一遍事实,捕获低层注意力状态,再用 layer-3 隐藏态经第二次前向补全其余 K/V,得到含 56 个 bfloat16 张量、跨 28 层的 CUT3「记忆盒」,存为独立 .pt 文件并记入 SHA-256 清单。实验共生成 1,453 个记忆盒、约 3.97 GB。
- 确定性复现:演示中从同一事实重建记忆盒,56 个张量与已存文件逐位一致,全程权重不变。
- READ:模型只收到问题,不含原文。问题经 PCA128 投影进地址空间,FAISS IVF128 检索 + TOP2 缩小 + PEAK50 规则选出唯一记忆盒(示例:1453→103→16→1),校验 SHA-256 后装入模型注意力缓存,模型据此作答,无需重读原文。
- 与 RAG 的区别:RAG 找到文本再贴进 prompt;MAM 找到的是模型自己此前的 K/V 状态,直接恢复进注意力,不需要向量库服务、SQL 或训练。
- 局限:96 个问题复用 48 条事实,PEAK50 在 TEST626 后被固定;每条事实约 2.73 MB;仅支持 A100。
「编程与Agent」频道最新
- 15 条提示词号称替代 ML 教育,标价 11.4 万美元课程零成本学 — bigaiguy · 2026-10-12
- 从业者心得：大模型别干杂活，让小模型跑量、SOTA 只做编排 — petergyang · 2026-10-12
- 开源 Screego:10.5k 星的开发者屏幕共享工具 — thisguyknowsai · 2026-10-12
- Grok 应用上线 Bots 功能,可自建 Trader 等专属机器人 — nima_owji · 2026-10-12
- 开源 Moli:为 AI agent 打造的按需渲染轻量无头浏览器 — abhishek__AI · 2026-10-12
- YOLOv8+OpenCV 实时目标检测项目:多线程帧缓冲保流畅 — mariamamhan · 2026-10-12