冻结模型写入外部记忆:Qwen 与 Mistral 上的隐藏态注入实验复现
Nearby_Indication474 · reddit · 2026-10-16
作者发布 AKBASCORE Silicon Hippocampus v1.4 的第二次实验实现:在不改动权重的冻结 Mistral-7B-Instruct-v0.3 上(Qwen2.5-7B-Instruct 为首次)验证「记忆胶囊」注入流程。核心问题是模型内部表征能否作为数值记忆胶囊独立提取、增量组装,并在特定层边界重新注入。
与常规 KV cache 复用不同,流程为:每条事实单独过冻结模型,从选定中间层提取隐藏态检查点及前层 K/V 存为胶囊;胶囊的下层 K/V 追加进已有记忆并做旋转位置重排;随后零输入嵌入前向,把隐藏态直接注入层边界,让剩余深层在旧记忆上下文中计算新记忆表征。Mistral 路径为 FORGE→WRITE L0–L6→INJECT H6→REBUILD L7–L31→ANSWER,Qwen 为 L0–L3/H3/L4–L27。两架构层数、隐藏维度、KV 头数不同,需适配干预边界,并非直接迁移胶囊。附两份 Zenodo 研究记录(含 PDF、源码与结果),面向 activation steering/patching、KV-cache 组合与记忆增强 transformer 研究者。
「研究」频道最新
- 北大等团队开源 UniForge3D:稀疏多视图图联合做 3D 重建与生成 — camenduru · 2026-10-16
- SpatialClaw 入选 NeurIPS，被用于 NVIDIA Nemotron 3.5 VL 训练数据 — CMHungSteven · 2026-10-16
- 重读 Breiman「两种文化」：预测模型从来不是干净的 — beenwrekt · 2026-10-16
- Caltech 团队发布 ReRoute：无需干预实验即可预测科学反事实 — FrancescoLocat8 · 2026-10-16
- AI 抢不走人类的品味：模型只会做常见的东西，而人脑天生奖励新奇 — tejaskumarlol · 2026-10-16
- Hugging Face 上线 AI4Science 热力图，79 家机构贡献开源科研资产 — anshulkundaje · 2026-10-16