Engram 架构解析:总权重 500B 级仍胜 GLM 5.3,KV cache 更小
bookwormengr · x · 2026-09-10
- 讨论者指出,按权重体量算,该模型 backbone 约 500B、embedding 196B,总量与 GLM 5.3 相当,应与其对比——结果它仍以更小的 KV cache 和更强性能胜出。
- 解释 Engram 的原理:embedding 存储的是 token 的语义,但许多概念需要多 token 表示(如「Alexander the great」而非 Alexander the barista),transformer 下层常在浪费算力重建 token 序列的含义,Engram 通过语义检索规避这种浪费性计算。
「模型」频道最新
- Gemini 3.8 Flash 仅 3 轮对话自我纠错完成任务,作者晒演示 — Artistic_Solution117 · 2026-09-10
- 「外星架构」引发热议,博主建议叠加 recurrent depth 技术 — scaling01 · 2026-09-10
- 用户请愿 OpenAI 推 $400–600 重度档：$200 额度 48 小时烧光 — dragonwarrior_1 · 2026-09-10
- 爆料称 SpaceXAI 正把 Grok Bot 接入 XChat,对话中可 @ 机器人提问 — nima_owji · 2026-09-10
- 智谱新模型成绩被质疑：8 种考法报最高分,满思考档才刷出 74.2 — teortaxesTex · 2026-09-10
- 宇树全面开源 6B 人形机器人基础模型 UnifoLM-WLA-1.0 — teortaxesTex · 2026-09-10