Engram 随机读取不适合 SSD,CPU 内存低延迟共享或成正解
bookwormengr · x · 2026-09-11
一位工程师对 Engram 架构的部署可行性提出技术分析:
- 个人场景可行,服务端存疑:Engram 读取高度随机化,对 SSD 是很大的负担,不适合服务器级部署。
- CPU 内存 + NVLink 方案:通过 NVLink 让所有运行模型骨干的 72 张 GPU 以低延迟读取同一份 Engram 副本,避免重复存储。
- 内存数据库思路:把 Engram 表放进 Redis 这类内存数据库,可获得个位数毫秒级延迟和极高并发。
作者表示期待 Fireworks AI 和 radixark 的性能分析报告。
所属事件:Engram 随机读取压垮 SSD,工程师探讨内存级查表方案(2 条相关)→
「Infra」频道最新
- Neocloud 初创 General Compute 融资 1 亿美元,专押英伟达体系外推理芯片 — tonygwu · 2026-10-28
- 超快开源推理创企获 1 亿美元 A 轮融资,首批机架 2027 Q1 上线 — tonygwu · 2026-10-28
- 用 $TAO 两分钟上手开源模型:Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨,Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem,为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28