ENGRAM 真是免费午餐吗?深度拆解 DRAM 卸载嵌入表技术
bookwormengr · x · 2026-09-27
作者长文分析 SemiAnalysis 报道后引发热议的 ENGRAM 技术——SemiAnalysis 称其可带来每 GW 50% 的营收提升,价值数十亿美元。
- 原理:将 token 序列的嵌入(语义表示)存入可卸载到 DRAM 的嵌入表,节省昂贵的 HBM 显存
- 收益:为 KV Cache 腾出空间、降低每 token 的 FLOPs,意味着更少的内存与加速器开销
- 性能:据 SemiAnalysis 数据带来显著性能提升
- 作者也质疑这是否真是"免费午餐"、是否影响模型质量,并回顾了自己自 2026 年 2 月以来对此技术的持续讨论
所属事件:ENGRAM 内存技术引热议,称可大幅提升数据中心营收(3 条相关)→
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16