训练发现：不同预训练种子构建的奖励模型集成更抗 reward hacking
vxnuaj · x · 2026-10-29
vxnuaj 指出一个训练观察：用不同预训练种子构建的 reward-model 集成，比只在微调种子上不同的集成更能抵抗 reward hacking。这意味着集成成员之间的多样性来源很关键——预训练阶段的差异带来更实质的模型多样性，从而让集成在 RLHF 中更难被策略模型钻空子。
「研究」频道最新
- GPT-6.1 Terra 得分 28.1% 追平 Fable 5.1，token 效率更高更便宜 — scaling01 · 2026-10-29
- Rust 视觉定位库 visloc-rs 破 150 星，集成 3DGS 与 SLAM — rsasaki0109 · 2026-10-29
- Anthropic 提出 GRAFT:删除参数而非惩罚,治奖励作弊 — dl_weekly · 2026-10-29
- 前 Google 研究员创 Elorian 推视觉推理模型,前沿模型数数不过半 — Latent Space · 2026-10-29
- TMLR 审稿人出走：AI slop 泛滥与激进 desk reject 引发学界争议 — miniapeur · 2026-10-29
- Zapier 主持 Bench Summit 圆桌:如何打造与维护有影响力的基准 — GregKamradt · 2026-10-29