DeepSeek-V4-Flash 推理受阻：vLLM 暂不支持新 confidence_head
teortaxesTex · x · 2026-08-01
开发者发现 DeepSeek-V4-Flash-0731 版本引入了 DSpark confidencehead（置信度头部），但当前 vLLM 的公开 NVIDIA loader 会将其丢弃，因为该模块尚未接入推理流程。
「Infra」频道最新
- NVIDIA RTX Spark 正式发布，主打 Windows PC 本地跑 AI — ostrisai · 2026-10-16
- SkyRL 为 Beam 提供首日 RL 支持,LoRA 解码吞吐提升 62% — vllm_project · 2026-10-16
- DFlash2 为 Beam 解码提速最高 3.03 倍 — vllm_project · 2026-10-16
- Beam 长上下文服务优化:GB200 前向最快降 20% — vllm_project · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单台 DGX Spark 跑 Nemotron 3.5 Bolt,16 路并发推理演示 — NVIDIAAI · 2026-10-16