单张 RTX 5090 跑 502GB 模型：DeepSeek V4.1-Flash 展示本地 AI 新架构
AccBalanced · x · 2026-09-12
开发者实测 DeepSeek-V4.1-Flash 在单张 RTX 5090 + 125.7 GiB 内存上运行，502GB 的 GGUF 模型大部分驻留 NVMe：热专家在 VRAM/RAM 中流动，冷专家留在 SSD，196B 的 Engram 记忆由磁盘支撑。
关键数据：
- 552B 主干 + 196B Engram 记忆
- 输入时仅 8B 激活/token，输出时 16B
- 新内容生成 5.12 tok/s，数据驻留时最高 21.27 tok/s
- 与参考模型 logit 相关系数 0.9967
评论认为这与 Qwen3.8-Flash-Next 一起表明：模型容量正与活跃算力解耦，热数据查表式稀疏访问（Engram 非积极参与矩阵运算）可能是超大规模模型本地部署的蓝图。
「Infra」频道最新
- Sam Altman 称 PC 装 RAM『相当糟糕』,数据中心利用率更高 — _BlackDove · 2026-10-31
- 亚马逊 AI 支出吓崩股价:Q3 资本开支 759 亿美元 — fortune · 2026-10-31
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- GitHub Actions、Pages 与 Webhooks 发生大规模故障 — damontal · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31