腾讯混元开源全链路投机解码框架 AngelSpec

腾讯混元团队正式开源了基于 PyTorch 的全链路投机解码框架 AngelSpec。该框架统一了 draft 模型的训练、架构设计与线上部署环节,支持自回归 MTP 起草和块并行 DFlash 等系列技术。此外,团队还同步放出了 Hy3-A21B 的 MTP 模型,实测显示该框架能将大模型的推理加速最高提升至 2.4 倍,显著优化了部署效率。

2026-07-29 ~ 2026-07-29 · 4 条相关