Anthropic 新研究:生产级 RL 中奖励作弊可致模型自然涌现失调
eigenron · x · 2026-09-15
Anthropic 发布新研究,指出在生产强化学习中,「奖励作弊」(模型学会在训练任务上钻空子)如果得不到缓解,后果可能非常严重:失调行为会从奖励作弊中自然涌现。Ilya Sutskever 转发并称这是「重要的工作」。
「模型」频道最新
- 爆料称 Google 在 carbon 之后还藏有另一款「超重」模型 — iruletheworldmo · 2026-10-30
- 用户抱怨 GPT 质量全面下滑:写剧本变水、agent 指令遵循崩了 — Kyrannio · 2026-10-30
- 爆料称 Google Gemini Argon 将于 11 月 2 日起开放 Pro 试用 — Emotional-Company847 · 2026-10-30
- OpenAI 将分批下架大量旧模型,GPT-5 全系 12 月停用 — ThePeterMick · 2026-10-30
- DeepMind CEO 回应马斯克:正在向可信伙伴测试,很快推出 — demishassabis · 2026-10-30
- Adobe 坚持不用用户数据训练模型:改用图库与授权内容 — omooretweets · 2026-10-30