NIRVANA「认知卡带」:把记忆压成数值模块,7B 模型双平台复现
Nearby_Indication474 · reddit · 2026-10-05
作者构建了一套名为 NIRVANA 的「认知卡带」(Cognitive Cartridge)架构:让冻结的 7B 模型处理一段文本,把其内部 K/V 状态用固定 codebook 压缩成不可读的数值记忆模块,随后丢弃原文,之后可直接向卡带提问而不需要把源文本放回 prompt。
关键进展:该机制已在 Qwen2.5-7B-Instruct 和 Mistral-7B-Instruct-v0.3 两个架构不同的模型家族上复现成功(层结构、KV 结构、配置各不相同),Mistral 版本是目前最干净的一次。Mistral 实验使用了 16 个独立锻造的卡带,各自承载不同源记录的数值记忆,不拼接成大 prompt,可独立安装与查询。
它不是 RAG(不返回原文段落)、不是微调/LoRA(权重完全冻结)、也不是 prompt 模板——信息载体是源于 transformer 内部计算的数值表示。作者公布了 Zenodo 永久记录(DOI)并计划继续扩展记忆库。结果仍属个人实验,可复现性与泛化能力有待第三方验证。
「研究」频道最新
- JCIM 期刊征集 AI4Science 数据库与工具类应用论文 — olexandr · 2026-10-05
- Michael Levin 新章：形态发生是认知过程而非机械涌现 — JosephJacks_ · 2026-10-05
- 新型静电人工肌肉执行器亮相,介质击穿与千次寿命成瓶颈 — IanPritchard · 2026-10-05
- AI 设计药物 rentosertib 人体试验显现约 3-4 年生物年龄逆转 — Dr_Singularity · 2026-10-05
- 普林斯顿访问成果：小内存线性动态系统学习论文入选 NeurIPS 2026 — HazanPrinceton · 2026-10-05
- 用语言模型解码致幻剂体验:19 种受体与主观感受的语义映射 — danilobzdok · 2026-10-05