4 块 RTX Pro 跑满精度 DeepSeek 4.1 Flash，破 300 TPS
TheZachMueller · x · 2026-09-11
开发者 @fraserpricee 展示在 4 张 RTX Pro 上以 300+ TPS 的速度运行满精度（full precision）DeepSeek 4.1 Flash，峰值系统内存不到 32GB，依赖一个定制的 vLLM fork 加上一块小 SSD。作者表示稍后会公布完整配置方案（recipe），目前先晒结果。这一本地部署方案说明消费级 GPU 集群也能以可用速度跑大模型满精度推理，细节待后续发布。
「Infra」频道最新
- 用 $TAO 两分钟上手开源模型：Bittensor 侧链 SN53 实测体验 — markjeffrey · 2026-10-28
- AI 代码潮致 CI 需求暴涨，Celesto 一周 CI 分钟数增长 9 倍并分享扩容细节 — aniketmaurya · 2026-10-28
- DeepMind 团队发布 Rust 虚拟机 Capsem，为 AI Agent 提供 hardened 隔离环境 — rakyll · 2026-10-28
- SemiAnalysis:OpenAI 正洽谈约 1GW TPU 租约并寻找场址 — dylan522p · 2026-10-28
- 实测 11 种视频超分方案：本地免费、Topaz 与云端全横评 — lopas99 · 2026-10-28
- 不稳定测算CEO站台解耦算力:要让AI迎来「宽带时刻」 — beffjezos · 2026-10-28