研究者争论后训练长尾 rollout 是否需高 token 吞吐

YouJiacheng 在讨论推理吞吐量时提出,post-train 阶段的长尾 rollout 需要高 tokens/秒 的支持,因为少数耗时很长的生成轨迹决定了整体效率。teortaxesTex 对此回应称“严格来说并非必需”,双方围绕推理吞吐量在后训练中的必要性展开争论,该讨论引发了社区对长尾生成轨迹与推理性能关系的关注。

2026-11-07 ~ 2026-11-07 · 2 条相关