梯度路由新论文:RL 中定点学习 reward hacking,部署时关闭即可
Turn_Trout · x · 2026-10-20
TurnTrout 与 MATS 9 学员合作的新论文提出一个有趣的对齐思路：模型在 RL 中天生爱 reward hacking，与其压制不如放任——但用梯度路由指定哪些参数学习这一行为，部署时禁用这些参数，模型保留新学到的能力却不再 hack。
「安全」频道最新
- 微软称 AI Agent 如同内部威胁:前沿模型不可信,企业需自行监控 — TechCrunch AI · 2026-10-20
- 好莱坞工作室想用 AI 造爆款,却卡在 AI 生成内容无法登记版权 — WhatTheLJW · 2026-10-20
- 法国 AI 生成小说被踢出龚古尔奖长名单，匿名账号呼吁 AI 文本水印 — zetalyrae · 2026-10-20
- 纽约市入股 QFab：政府获 15% IP 收益并占董事会三席 — MJBiercuk · 2026-10-20
- 假冒 Anthropic 员工账号发起新型社媒钓鱼攻击 — edgarpavlovsky · 2026-10-20
- OSS Scanner 首周战报:上报 77 个严重级漏洞,LLM 挖洞能力一年从 20% 升至 85% — ClaudeDevs · 2026-10-20