Ring-2.5-1T-Zero 将 RL 扩展到 1T 参数

kastnerkyle · x · 2026-07-21

这条转发介绍了一篇关于 Ring-2.5-1T-Zero 的研究，重点是把强化学习扩展到 1T 参数模型的多阶段训练管线。

训练流程

• 第一阶段 RL：用 token 级损失激励推理
• 自蒸馏：压缩 CoT 轨迹，缩小训练/推理差距
• 第二阶段 RL：改为 sample 级损失，继续提升能力
• 第三阶段 RL：用分层训练，让模型适应不同深度的推理

其他内容

• 论文还提到大规模训练的基础设施优化，包括混合精度控制和 context parallel 优化。
• 图中总结了若干涌现行为：拟人化、结构化格式、并行推理、context anxiety。

结果

• 表格对比了 frontier models 与多个 Zero-RL 变体在 AIME 2024/2025/2026、HMMT、IMOAnswerBench 等数学基准上的表现。
• Ring-2.5-1T-Zero 的分阶段版本相较早期 Zero-RL baseline 有明显提升，其中第三阶段版本在列出的 Ring 系列里成绩最好。

原文链接 →

「研究」频道最新

• 34 个开源模型全部自托管在 Blackwell 集群上跑健康评测 — keunwoochoi · 2026-10-27
• 新论文:数学数据放训练前段还是末段,取决于学习率调度 — alifcoder · 2026-10-27
• 健康领域评测研究:题目质量与多样性比数量更重要 — keunwoochoi · 2026-10-27
• 七项任务实测:开源模型开高推理档未必更好 — keunwoochoi · 2026-10-27
• 医疗评测：Kimi K3 平 GPT-6，但疑难病例开源落后 17 个百分点 — keunwoochoi · 2026-10-27
• 数据课程与学习率调度应协同设计：数学数据放置策略随 LR 翻转 — CatAstro_Piyush · 2026-10-27

更多「研究」频道 AI 资讯 →