Kimi k3 RL 奖励设计曝光:按 rollout 长度加权基线
kastnerkyle · x · 2026-09-13
转引对 Kimi k3 训练细节的分析,两个关键点:
- 基线改造:放弃 GRPO 的组均值奖励作为方差缩减基线,改为按 rollout 长度 Lᵢ 加权的组基线 (R - (Σ RᵢLᵢ)/(Σ Lᵢ)),使 rollout 与 trainer 之间的数值动态更稳定。
- 成本-智能 Pareto 奖励:奖励只围绕成本(费用与 rollout 时间)和平均解题率两个维度设计,R = S - λe·C。超参 λe 取曲线在努力水平 e 处的斜率——取高或取低,模型只会沿曲线滑动而非推动前沿前移,以此把基模推向成本-智能 Pareto 前沿。
「研究」频道最新
- 新论文「Heads Of Security」：定位注入攻击注意力头并改写其模式 — jonasgeiping · 2026-10-31
- UMass 团队发布 BATv1：3429 个转录因子结合 ChIP-seq 模型图谱 — jmschreiber91 · 2026-10-31
- UCLA 推出 ChairNav：会学习乘客偏好的自主导航轮椅 — zhoubolei · 2026-10-31
- 合成数据重写该花多少算力？新研究用 scaling laws 给出答案 — ChengleiSi · 2026-10-31
- 花叔开源全球 11064 种鸟类贴纸库,AI 画图消耗超 10 亿 token — AlchainHust · 2026-10-31
- Epoch AI：AI 芯片算力年增 2.5 倍，增速较 2023 年明显放缓 — rohanpaul_ai · 2026-10-31