冻结 Qwen2.5-7B 记忆存成 4.7MB 文件重载后照样作答
Nearby_Indication474 · reddit · 2026-10-10
开发者发布 AkbasCore MAM-BÇ 开源项目：冻结的 Qwen2.5-7B-Instruct（权重零改动）回答问题时无需再看到原文，知识以内部张量形式存成 4.7MB 文件、逐位校验后重载回模型即可使用，代码与日志全开源并附 DOI。
核心思路：不走微调或 RAG 两条老路，而是把知识保存在模型自己的内部表示里：
- 写入：每个事实过一遍冻结模型，保存第 3 层残差流作为检索键，加上第 0-3 层的注意力 KV（「卡匣」，不含文本）
- 检索（FRAM）：问题与事实在同一框架下编码，用 log-sum-exp 内核做软最大匹配打分，超参仅在 12 个校准问题上确定，另 12 题做 holdout
- 合并（CUT3）：最优 5 个卡匣合并，KV 用模型自身的 rotary embedding 精确旋转到新位置，上层只对新行计算、早期行逐位不变
- 存取：合并后的 28 层 KV 记忆（每 token 57,344 字节）写盘、读回、逐位比对后重新接入模型
作者称 96 个事实的事实库在此流程下可被模型从纯数值记忆中正确引用，源句子从未输入给模型。
「研究」频道最新
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- 作者用布尔逻辑造 LM:前向传播单线程仅需几微秒但训练极慢 — cephaloform · 2026-10-23
- AdaDex:几秒人手视频即可教灵巧手学会抓取、抛接等可泛化技能 — mangahomanga · 2026-10-23