腾讯开源 AngelSpec，把投机采样 drafter 训练做成框架
aigclink · x · 2026-07-29
- 腾讯开源了 AngelSpec，这是一个专门用来训练投机采样（speculative sampling）draft 模型的框架。
- 它把 DFly、DFlash、DFlare、Eagle3、DSpark、MTP 六种 draft 架构整合到同一条训练管线里，只需改配置即可切换。
- 框架把推理与训练拆成两组 GPU worker，中间通过 Mooncake hidden-state storage 做 RDMA/TCP 传输；训练过程还能直接拉起 vLLM / SGLang 做真实 serving engine 级别的在线评估。
- 报告里给出的 Hy3-295B-A21B MoE 结果显示，DFly 在并发 4–64 下平均提速 1.98x–2.40x，代码与数学任务峰值到 2.86x，并比 DFlash 快 10.5%–11.8%。
- 更关键的是 live traffic 压测：DFly 在并发 48 后吞吐趋于饱和，而 D-cut 还能继续把新增负载转成吞吐，说明这套框架已经偏向生产级。
所属事件:腾讯混元开源全链路投机解码框架 AngelSpec(4 条相关)→
「Infra」频道最新
- AI 算力竞赛的隐形功臣:数据中心电源管理芯片决定能效上限 — Olivier__OG · 2026-10-17
- 35B 多模态模型跑进 3GB 内存：MiniCPM-V 4.7 全程离线读懂家电面板 — alifcoder · 2026-10-17
- 本地跑 Qwen3.8-Flash-Next：换全量 FP8 n-gram 表质量明显提升 — sillynoobhorse · 2026-10-17
- 单卡 A100 本地跑 Nemotron 3.5,169 tok/s 处理百份病历仅 2 美分 — MaziyarPanahi · 2026-10-17
- NVIDIA 开源 AIPerf 基准工具 + Triton 官方教程：推理性能测量的两块拼图 — techNmak · 2026-10-17
- Triton 官方 GPU 编程教程：从向量加法到融合注意力 — techNmak · 2026-10-17