Engram 架构解析:总权重 500B 级仍胜 GLM 5.3,KV cache 更小
bookwormengr · x · 2026-09-10
- 讨论者指出,按权重体量算,该模型 backbone 约 500B、embedding 196B,总量与 GLM 5.3 相当,应与其对比——结果它仍以更小的 KV cache 和更强性能胜出。
- 解释 Engram 的原理:embedding 存储的是 token 的语义,但许多概念需要多 token 表示(如「Alexander the great」而非 Alexander the barista),transformer 下层常在浪费算力重建 token 序列的含义,Engram 通过语义检索规避这种浪费性计算。
所属事件:Engram 嵌入架构走红：省算力还提升模型智能(3 条相关)→
「模型」频道最新
- Kimi K3.1 Pro 登顶 MathArena 开源模型，整体逼近 GPT-5.5 — teortaxesTex · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- supermemory 发布 learner-1：面向任意模型的持续学习方案 — julianweisser · 2026-10-26
- Anthropic 称 Opus 5.5 单任务成本较 Opus 5 降约 40% — taufiqintech · 2026-10-26
- 27 家 AI 搜索接口横评:前 12 名只差 7 分,价格却差近 7 倍 — FinanceYF5 · 2026-10-26