无微调无 RAG:记忆卡带架构在冻结 Qwen2.5-7B 上复现 72/72
Nearby_Indication474 · reddit · 2026-10-09
AkbasCore MAM 的「记忆卡带」架构此前在 Mistral-7B 上验证,现在成功迁移到完全不同的模型家族 Qwen2.5-7B-Instruct(完全冻结,无微调、无 RAG、无权重改动,逐参数哈希验证)。
核心机制
- 每条事实经过冻结模型一次,保存模型当时的内部状态快照为「记忆卡带」
- 卡带只追加堆叠,原文本可丢弃,问答时模型只看卡带不看原文
- 关键参数是「切入点(cut)」:在事实开始相互连接的层之上接入记忆;不同模型结构不同,需实测确定——Mistral 在第 6 层后,Qwen 在第 3 层后
关键数据
- 密封测试(无原文):Qwen2.5-7B 72/72 正确,与模型读全文成绩一致;简单拼接记忆只有 26/72
- Mistral-7B(32 层/4096 宽/32 头):卡带 36 KiB/token
- Qwen2.5-7B(28 层/3584 宽/28 头):卡带 15 KiB/token,远小于其全量 KV 缓存的 56 KiB/token
作者强调这仍是概念验证而非成品,Mistral 数据见 v1.0 记录(DOI 10.5281/zenodo.23245358),demo 已开源。
所属事件:“记忆卡带”架构让冻结 7B 模型获得持久记忆(2 条相关)→
「编程与Agent」频道最新
- LLM Agent 如何与真实工作流交互:Hermes Agent × n8n 实测与工程取舍 — techlatest_net · 2026-10-23
- 实测 Hermes Agent 接入 n8n:让 Agent 直接执行自动化工作流 — techlatest_net · 2026-10-23
- OpenAI 建议 MCP 服务器指令控制在约 1000 字符内防截断 — bibryam · 2026-10-23
- OpenAI 数据：仅约 56% 的 MCP 服务器提供了 instructions 字段 — bibryam · 2026-10-23
- OpenAI 建议 MCP 工具勿藏在调度器后，应逐一暴露清晰动作 — bibryam · 2026-10-23
- Resend 单月 100 万次 MCP 调用,OpenAI 视 MCP 为分发渠道 — bibryam · 2026-10-23