Engram 思路：缓存多词组合嵌入，省算力还能提升模型智能
bookwormengr · x · 2026-09-10
作者 bookwormengr 在线程中解释 Engram 嵌入为何有效：embedding 存储的是 token 的语义，但很多概念需要多个 token 才能表达（如「Alexander the great」而非「Alexander the barista」），Transformer 底层被迫花费大量算力去重建 token 序列的语义。
Engram 的做法是把 23 token 组合的「含义」预先存成可检索的嵌入，运行时直接取用，并可加载到主机内存（LPDDR）、与 GPU 计算重叠执行，取用不损失时间。
- 节省大量计算与骨干参数
- 换来「更少参数、更高智能」的可能性
- 细节见作者引用的论文
所属事件:Engram 嵌入架构走红：省算力还提升模型智能(3 条相关)→
「研究」频道最新
- PlannerForge：用 LLM 智能体自动化自动驾驶规划器场景测试 — TUM-AVS · 2026-09-10
- AgentGrad：用干预定位目标智能体，优化多智能体系统提示词 — Jaewon Chu · 2026-09-10
- OracleZoom：参考约束递归超分新法，极端放大减少幻觉 — Shubhashis Roy Dipta · 2026-09-10
- UCL 成立 SOFAIR 开源 AI 实验室，回应英国缺前沿实验室之问 — latticecut · 2026-09-10
- Anthropic 模型被曝极端偏向先验信息，动机性推理再添证据 — asusarla · 2026-09-10
- ai& 与 Tenstorrent 推出 JapanFold：全日本境内开源 AI 药物发现平台 — DavidBennett__ · 2026-09-10