DeepSeek 新模型 4 张 RTX Pro 本地跑出 300 TPS，NVMe 卸载立功
TheZachMueller · x · 2026-10-18
开发者 fraserpricee 演示在 4 张 RTX Pro 上以 NVMe「engram offload」方案本地运行 DeepSeek-4.1-Flash-1017，吞吐超过 300 TPS，引来 TheZachMueller 等人盛赞「为全人类服务」。展示表明借助 NVMe 卸载技术，消费级/工作站级硬件也能流畅跑 DeepSeek 最新开源模型。
「Infra」频道最新
- 单张 L4 GPU 跑 20 路低延迟马拉雅拉姆语语音 Agent 的完整架构 — DistrictUnique5259 · 2026-10-18
- AgentCave：把散落各地的 Mac Studio 与 GPU 箱塞进一个虚拟机房 — noahsolomon · 2026-10-18
- 博主测算 2026 年真实 AI 需求约 1890 亿美元，过半来自 OpenAI 和 Anthropic — builderjaydub · 2026-10-18
- AI 背板 twinax 线缆年出货量大涨：224G 世代达 8.52 万公里 — jwt0625 · 2026-10-18
- SGLang Summit 赞助商一周从 11 家增至 36 家 — ying11231 · 2026-10-18
- 研究者用智能体检索算法纪录:矩阵乘法指数最早在 5 亿维降到 2.7 以下 — IgorCarron · 2026-10-18