绕过 RAG：在冻结的 Qwen2.5-72B 第三层直接注入 3 万 token 张量记忆
Nearby_Indication474 · reddit · 2026-10-17
- 核心思路：AKBASCORE「硅海马体 v1.4」不走 RAG 检索或 KV cache 回放，而是捕获冻结模型自身的中间隐层表示（H3），存成独立「张量记忆卡」，再在 Layer 3 边界（CUT3）直接注回模型内部计算通路。
- 实验配置：Qwen2.5-72B-Instruct（NF4 量化、BF16 计算、80 层），单张 A100-80GB；三张各含 1 万 token 的记忆卡（《傲慢与偏见》《科学怪人》《福尔摩斯》）组装成 30,031 token 位置的工作记忆，每张在磁盘上恰好 328,698,863 字节。
- 机制：制卡时冻结模型按 256-token 分块处理文本，持久化 H3 及 Layer 0–3 的 K/V 张量，之后原始文本不再需要；挂载时把 H3 直接注入 CUT3，Layer 4–79 自行重建其余内部状态。模型权重完全不改、不做微调。
- 意义：作者声称这是与传统 KV 缓存的本质区别——恢复的是模型自身计算的中间状态，而非让模型重读检索文档。论文/记录见 Zenodo DOI。
「Infra」频道最新
- 在 C64、486 DOS 和任天堂 Wii 上跑语言模型的极客移植 — Awacer · 2026-10-17
- 买卡、租卡还是调 API?关键就看你的实际 GPU 利用率 — Dizzy_Lingonberry947 · 2026-10-17
- 开源工具 Underclass 池化多份 ChatGPT 订阅,绕开区域推理容量限制 — TheZachMueller · 2026-10-17
- 一文串起分布式 LLM 训练:6 种并行策略与通信/内存瓶颈全解 — techNmak · 2026-10-17
- 云真的到极限了：网友玩梗调侃数据中心争议 — gnukeith · 2026-10-17
- vLLM 三周把 DeepSeek-V4.1-Flash 吞吐拉高 5.3 倍，每美元 13 亿 token — woosuk_k · 2026-10-17