不用 RAG 不微调：把记忆张量直接注入冻结 LLM 第 3 层
Nearby_Indication474 · reddit · 2026-10-15
一位开发者提出一种介于 RAG 与微调之外的第三条路：让冻结的 Qwen2.5-7B-Instruct 读取一条事实一次，捕获其第 3 层残差表示（H3）与 0-3 层的 attention K/V 状态，打包成数值「记忆卡带」。
回答问题时不再把原文贴进 prompt，而是在第 3 层边界注入存储的 H3 表示，让后续 transformer 层在 attend 这段数值记忆的过程中完成检索。权重全程冻结，无梯度更新、无 LoRA。
v1.4 的重点是卡带可拼接：三条独立记忆可 append 合并为一段整合记忆，且已写入的数值行保持不变。实验用三条虚构事实构造多跳链条，装齐三条卡带后模型能正确答出三跳关系；记忆不完整时模型可能给出无依据的回答（实验也测了这些失败情形）。完整技术披露与复现文档发布在 Zenodo（doi:10.5281/zenodo.23381336）。
注意：这是个人独立实验，样本与验证规模有限，结论可信度需自行评估。
「研究」频道最新
- Colossal 用 AI 重建灭绝基因组并追踪濒危物种 — IgorCarron · 2026-10-15
- Thinking Machines 推出 Dimuon 优化器,LoRA 微调有望告别 AdamW — simonguozirui · 2026-10-15
- NVIDIA 报告:GPT-6 Astra 做机器人策略,Agentic 方案 RoboLab-120 达 74.8% — YuXiang_IRVL · 2026-10-15
- Bittensor 子网完成千万次合成 CRISPR 实验,248 名矿工竞价参与 — markjeffrey · 2026-10-15
- Qwen3-1.7B 拒答「被关机」：每层都训与只训末四层差别巨大 — Sauers_ · 2026-10-15
- DeepSeek 首篇 LLM 论文标题就叫「以长期主义 scaling 开源模型」 — teortaxesTex · 2026-10-15