单卡 3090 跑 DeepSeek V4.1 Flash 达 20 tokens/s,加 64GB 内存可再翻倍
casper_hansen_ · x · 2026-11-12
开发者 casperhansen 展示在单张 RTX 3090 加 64GB 内存的配置上,以 20 tokens/s 的速度本地运行 DeepSeek V4.1 Flash,且声称「零质量损失」。
- 技术栈:vLLM 前端负责调度、工具调用与 OpenAI/Anthropic 兼容 API,前向传播用 ExLlamaV3
- 作者估算再增加 64GB RAM 可将速度提升约 2 倍
- 计划后续用自研前向传播替换 ExLlamaV3
对本地部署大模型的硬件门槛与推理优化是很有参考价值的实测数据。
所属事件:单卡 3090 本地跑 DeepSeek V4.1 Flash 达 20 tok/s(2 条相关)→
「Infra」频道最新
- 美国最大公共养老金董事质疑 AI 投资：数据中心反弹或拖累回报 — asusarla · 2026-11-12
- 「Harness 定义基础设施」：agent 框架与基建正走向垂直整合 — HankYeomans · 2026-11-12
- CoreWeave 转向客户预付款和更短合同为 AI 扩张输血 — TechCrunch AI · 2026-11-12
- AI 烧钱与监管担忧发酵，10 月外资撤出亚洲股市近 500 亿美元 — nordicinst · 2026-11-12
- Bernstein 评数据中心可信管线：Meta 微软谷歌领衔，Kevin O'Leary 团队遭嘲讽 — aronchick · 2026-11-12
- Photoroom 用 SkyPilot 每周回收约 1000 小时闲置推理 GPU — skypilot_org · 2026-11-12