EAGLE 3.1并入TensorRT-LLM
Scobleizer · x · 2026-07-12
Scoble 在活动上提到，某家公司的软件可让 AI 推理速度提升约 20%，并称不少大厂正在使用其软件。引用内容补充称，**EAGLE 3.1 已并入 NVIDIA TensorRT-LLM**。 这次集成把 EAGLE 的最新 speculative decoding 架构带到 NVIDIA GPU 上常用的推理框架中，主打： - 提升 drafter 鲁棒性 - 改善跨多模型家族的 acceptance length - 在真实部署条件下获得更稳定的性能 官方说法是，这会让开发者更容易在 NVIDIA 基础设施上搭建高性能推理流水线。