DeepSeek Engram 讨论:本质为语义检索,省 HBM 是关键
围绕 DeepSeek Engram 的讨论中,bookwormengr 解释 Engram/N-gram 并非计算系统,而是嵌入意义上的语义检索系统,其收益体现在 HBM 存储与带宽的双重节省,可削减约 40-50% 的 HBM 需求。他还指出稀疏化(MoE、稀疏注意力 CSA)依然存在且占比已达 90%,减少总存储有帮助,但更大的约束其实是带宽。
2026-09-22 ~ 2026-09-22 · 4 条相关
- Engram 检索架构省不了全部参数,但可砍 40-50% HBM 需求 — bookwormengr · 2026-09-22
- Engram 本质是语义检索系统:收益在 HBM 存储与带宽双省 — teortaxesTex · 2026-09-22
- DeepSeek Engram 讨论:省 HBM 带宽比省存储更关键 — bookwormengr · 2026-09-22
- Huawei HiZQ 是真 HBM,DeepSeek 一切设计都在省带宽 — zephyr_z9 · 2026-09-22