Kimi K3.1 Pro DSpark 细节:2.5B 草稿模型,GSM8K 接受长度 5.57
vllm_project · x · 2026-11-18
vLLM 项目放出 Kimi K3.1 Pro DSpark 草稿模型的权重与即用 vLLM 配置(Hugging Face:Inferact/Kimi-K3.1-Pro-DSpark)。模型卡要点:
- 架构:5 层稠密 decoder 共 2.5B 参数(BF16),每层 2048-token 滑动窗口 GQA;每次前向草稿 7 个 token,embedding 与 LM head 与目标模型共享;
- 评测(DSpark k=7,temperature 1.0,topp 0.95):GSM8K 接受长度 5.566(首 token 接受率 0.91)、HumanEval 4.660、MBPP 4.376、MATH-500 4.44+;
- 滑动窗口使草稿注意力开销与 KV cache 不随上下文增长,支持至 1M token 上下文。
「Infra」频道最新
- The Verge 深挖微软 Outlook 大规模宕机:原因与修复为何耗时 — tomwarren · 2026-11-18
- vLLM 发布 Kimi K3.1 Pro 投机解码草稿模型,接受长度最高提升 30% — vllm_project · 2026-11-18
- Wonderful 自研语音模型基于 Together AI,首句延迟仅 274ms — togethercompute · 2026-11-18
- Anthropic S-1 揭示仅 25% 算力用于推理,投资人直呼看空 — toptickcrypto · 2026-11-18
- LanceDB 融资 5750 万美元 B 轮,瞄准 AI 时代的多模态数据栈 — pzakin · 2026-11-18
- Multi-Branch Transformer:并行分支扩展 LLM,同损失省 1.26 倍算力 — KyeGomezB · 2026-11-18