Engram 检索架构省不了全部参数,但可砍 40-50% HBM 需求
bookwormengr · x · 2026-09-22
作者回应 @teortaxesTex 关于中国 DRAM 产能与 Engram 可扩展性的讨论,分析 Engram/n-gram 检索机制的本质:它不是计算系统,而是嵌入意义上的检索系统,在隐藏状态中加入 2-gram、3-gram 可省去大量重建语义的 FLOP 计算。
核心观点:
- Engram 不太可能完全替代 FFN/MoE(占模型 90% 参数),注意力计算和概念升维/降维仍不可少;DeepSeek 只做到约 40% 模型位宽、LongCat 也不超过 50% 参数
- 真正的收益不在替代参数,而在于省 40-50% HBM 存储之外,更重要的是省下更昂贵的 HBM 带宽
- 即使 FFN/MoE 无法被完全消除,减少近半 HBM 需求本身就是巨大的成本节约
所属事件:DeepSeek Engram 本质是语义检索，可省四成 HBM 需求(4 条相关)→
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12