DeepSeek V4.1 Flash 单卡 3090 跑出 20 tok/s，官方推理栈开源加持
casper_hansen_ · x · 2026-11-12
casperhansen 宣布在单张 3090 + 64GB RAM 上以零质量损失运行 DeepSeek V4.1 Flash 1017，速度达 20 tokens/s。技术栈：vLLM frontend 负责调度、tool calling 与 OpenAI/Anthropic 兼容 API，前向计算用 ExLlamaV3，并附上 DSpark 投机解码 bench：nvme 模式 8K prompt 下 decode 21.3 tok/s；agent 关心的首 token 延迟上，8K 缓存前缀后生成 400 token 需 8.0 秒，快于 GLM-5.3-Flash 的 8.9 秒。作者称后续将自写 forward pass 替换 ExLlamaV3。
「Infra」频道最新
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12
- 曝 Meta 基础设施负责人 Santosh Janardhan 将于 2027 年初离职 — dinabass · 2026-11-12
- 华为开源量化工具 MACaQ：KL 散度比 Unsloth 低 23% — acluk90 · 2026-11-12
- dhh 发布 Omarchy 4.6：Tailscale 内共享本地 AI 模型推理 — alexcovo_eth · 2026-11-12
- 施密特基金会被曝资助法国反数据中心 NGO,行业利益现反差 — StephanSturges · 2026-11-12