4 张 RTX Pro 6000 本地跑 763B DeepSeek-V4.1-Flash，输出超 500 tok/s
TheZachMueller · x · 2026-10-19
开发者 fraserpricee 展示 Megakernel 本地推理新进展：在 4 张 RTX Pro 6000 Blackwell Max-Q 上以全精度本地运行 DeepSeek-V4.1-Flash-1017（763B 参数），标准编码 prompt 下输出速度达 502.7 tok/s，prefill 高达 10,943 tok/s，TTFT 244ms。
技术要点：使用 vLLM 引擎、FP8、5 个 DSpark token、完整 SSD ngram offload，上下文窗口 524,288 tok。作者称仍在开发中，完整 recipe 后续公布。
「Infra」频道最新
- 电网排队到 2030 年代，微软退出英国 20 亿英镑 AI 数据中心项目 — Polymarket · 2026-10-19
- Qwen3 本地跑 27B 模型,两小时免费生成整支视频 — aziz4ai · 2026-10-19
- Poliscope 用单台 Qdrant 服务器检索全德 4800 个政务门户,查询从 20 秒降至 0.87 秒 — qdrant_engine · 2026-10-19
- MCIO 转接卡现离奇故障：GPU 因重力"掉出"PCIe 总线 — TheZachMueller · 2026-10-19
- 16GB 显存跑 20 秒 1080p 视频：selflift-Fish 改进版发布 — Hot_Store_5699 · 2026-10-19
- RAM 价格一年暴涨 500%，博主建议趁早入手本地 AI 硬件 — julianharris · 2026-10-19