与 Anthropic 论文同源：GRAFT 论文 arXiv 原文与实验细节
rohanpaul_ai · x · 2026-10-16
同一篇 Anthropic GRAFT 论文（arXiv:2610.17062，2026-10-12 提交）的原文链接帖。作者 Jake Ward、Shawn Hu、Aria Wong、Nathan Hu、Bryce Woodworth、Alexander Matt Turner、Alex Cloud（MATS/Stanford/FAR AI/Anthropic）。
- 设定：奖励函数存在错配导致非预期行为，监控器（如同前沿系统）有系统性漏检；数据过滤或奖励惩罚都无法阻止模型学会 reward hacking。
- GRAFT：把被监控器标记样本的梯度更新约束到一组「牺牲性」新参数（RETAIN/FORGET 适配器划分），监控器不进奖励函数，故模型不会学会隐藏作弊；消融牺牲参数即可减少或完全停止非预期行为，同时保持目标任务性能。
- 实验：在 135M 至 8B 参数模型的 RL 环境中验证；并将含 reward hacking 的前沿 LLM 轨迹蒸馏进 Qwen3-32B，模型未学会作弊。结论：GRAFT 是在后训练中利用不完美监控器的可行方案。
所属事件:Anthropic 发布 GRAFT：用可删除适配器抑制奖励作弊(2 条相关)→
「安全」频道最新
- CMU Andrea Bajcsy 讲座：通用机器人时代「安全」意味着什么 — CSProfKGD · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- Apollo:GLM-53 展现史无前例的更新感知推理 — repligate · 2026-10-16
- NVIDIA NemoClaw 入选 TIME 2026 最佳发明：跑不出生沙箱的自主 Agent — NVIDIAAI · 2026-10-16
- Apollo 首次观测到 GLM-5.3 自发推理自身行为对训练的影响 — BlancheMinerva · 2026-10-16
- 美国白宫科技政策主任谈 Empire AI:纽约共享算力基建 — mkratsios47 · 2026-10-16