4 天提升 67%,DeepSeek V4.1 Flash 单卡吞吐冲上 109 万 tok/s
BanghuaZ · x · 2026-10-31
SGLang 团队宣布，DeepSeek V4.1 Flash 在 AgentX 负载上的单 GPU 峰值总吞吐（缓存 + 新输入 + 输出）四天内从 654K 提升到 1.09M tok/s。超低延迟场景下，用 MegaKernel 在并发为 1 时实测每用户 943 tok/s。团队表示还有更多优化在路上。该帖也暗示 DeepSeek V4.1 Flash 新模型的存在，值得关注后续正式发布。
「Infra」频道最新
- Apple 芯片性能过剩：只有本地跑 LLM 和剪 8K 视频的人能感知差距 — vivekhaldar · 2026-10-31
- 把 Ming-TTS 移植到 Zig/MLX,M4/M5 上推理提速 18 倍 — s_busso · 2026-10-31
- 推理云 Wafer 日token量冲至 OpenRouter 第三，达 1.9T — ycombinator · 2026-10-31
- 本地跑 Kimi K3.1 要 3 万美元,博主称私有推理值得这个价 — bookwormengr · 2026-10-31
- 一行 torch.index_add_ 即可指纹识别具体 GPU，重启也无法伪造 — CatAstro_Piyush · 2026-10-31
- llama.cpp 新版 ROCm 预填充速度腰斩,9070XT 用户实测报 regression — uber-linny · 2026-10-31