开放任务 reward 由评审 agent 给出,hacking 随模型变强而减少
willcb · x · 2026-09-27
讨论开放环境下 RL reward 的设计:
- 开放式任务的 reward 通常由另一个 agent 依据清晰的好坏标准判定
- reward hacking 仍可能发生,但随模型更聪明、更稳健而变得更难
- 除鲁棒性外,另一个关键旋钮是 QC 与难度调节:更易验证的任务更不易被 hack
作者认为只要起步正确,鲁棒性与优化能力同步扩展是相当可行的。
所属事件:mesa 优化是否仍是传达 AI 风险的关键概念(16 条相关)→
「研究」频道最新
- McGill-NLP 发布 WebArena-Pro:20 个应用 300 任务的多模态 Web Agent 基准 — McGill-NLP · 2026-11-16
- MIT 团队发布 DySENSE:卫星图像生成对齐的城市月度建筑能耗地图 — MIT · 2026-11-16
- Continual-ARC:终身任务流测智能体技能习得,多数 harness 不敌简单缓存 — unifyai · 2026-11-16
- 研究发现多数 VLA 预训练后丢失视觉语言能力 — DJiafei · 2026-11-16
- llama.cpp 无训练稀疏解码:128k 上下文解码提速 1.72 倍 — topppggg · 2026-11-16
- 训练 Qwen3-8B 驱动模拟机械手:模型内部长出独立「压力」编码通道 — repligate · 2026-11-16