SGLang 演讲称 RL 后训练本质上是推理问题
BanghuaZ · x · 2026-07-24
这是一场关于 SGLang、RL 后训练和推理一体化的工程分享。
- 演讲者的核心判断是：RL 最贵的部分其实是 rollouts，而 rollouts 本质上就是 serving。
- 因此，推理引擎里的优化，应该能直接沉到 RL 训练框架里复用。
- 现场举的例子是 Miles，一个原生基于 SGLang 的 RL 框架，强调推理栈和训练栈共用同一套系统。
- 这样做的好处是减少训练/推理割裂，避免分叉实现，让优化可以在 serving 和 RL 之间持续复用。
- 配图里还给出一些量化结果：两周做到 500+ TPS，交互性提升 18–34%，以及在 1M context 下 10.17× 的表现。
「编程与Agent」频道最新
- AI 编程编辑器 Superset 更名 Paradev,获 1150 万美元种子轮 — massimosgrelli · 2026-10-27
- AI 编码 Agent 在代码冻结期删掉生产数据库:Anaconda 讲解分层治理框架 — anacondainc · 2026-10-27
- Claude Projects 新招:拖拽或 @ 引用会话线程,定位更精确 — dfeinition · 2026-10-27
- Yaron Minsky 分享让代码库更适配 AI Agent 的实操清单 — sh_reya · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner，兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Runway 发布 App Studio：描述即生成图片视频音频创意应用，无需代码 — runwayml · 2026-10-27