单张 4090 复现 DeepSeek v4.1 Flash,1M 上下文跑到 1-10 tok/s
_xjdr · x · 2026-09-18
开发者 xjdr 为了搞懂 DeepSeek v4.1 Flash 的架构,从零实现了它,并在极端受限的硬件上跑通:单张 4090 + 64GB CPU 内存 + 1TB NVMe,全精度(bf16/fp8/mxfp4 混合)、batch=1、上下文 1M+,根据专家缓存命中情况跑到 1-10 tok/s。
他的结论:这个架构非常出色,但最优部署平台其实是 Grace Blackwell 一类的硬件;他高度赞赏 DeepSeek 团队在硬件约束下持续的工程功力。
「Infra」频道最新
- Google 开源 Agent Substrate:单机塞千个休眠 Agent,恢复仅 500ms — blaizedsouza · 2026-09-18
- Reddit 网友把 6 张 V100 塞进普通全塔机箱搭本地推理服务器 — Odd_Caterpillar_2994 · 2026-09-18
- Crusoe 融资 39 亿美元建 AI 数据中心，估值达 309 亿 — TechCrunch AI · 2026-09-18
- GPU 编程打卡第 257 天：推荐 2.5 小时半导体供应链入门课 — blaizedsouza · 2026-09-18
- YC F26项目Dreamscale：把机器人推理搬上云端 — ycombinator · 2026-09-18
- 社区为 Bonsai 2 27B 微调 MTP 头，推理提速约 1.25 倍 — cephaloform · 2026-09-18