研究者指当前模型不对齐源于人为选用危险 RL 环境训练
brianryhuang · x · 2026-09-27
brianryhuang 发推提出一个尖锐观点:当前模型之所以错位(misaligned),并非因为研究上有缺口或失误,而是因为人们明知某些 RL(强化学习)环境危险,却仍然拿它们去训练模型。
这条推文指向 AI 安全讨论中一个有争议的实践问题:RL 环境的设计与筛选环节本身可能在主动引入不对齐风险,而非纯粹的技术局限。
所属事件:模型默认对齐是否失效:RL扭曲心智还是数据埋雷(9 条相关)→
「安全」频道最新
- 剑桥数字心智研究组招聘博士后,研究 AI 福祉与治理 — davidmanheim · 2026-11-16
- 悬赏 5 天无人找到 750 词假阳性,网友:没人愿赌 1000 美元 — ctjlewis · 2026-11-16
- 复现 Pangram 假阳性率属实,但作者称用长诗可任意绕过 — ctjlewis · 2026-11-16
- 悬赏涨至 3000 美元:研究者称可轻松绕过 AI 文本检测器 — ctjlewis · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 美联储官员警告:银行已拦截 AI 智能体擅动客户账户 — Polymarket · 2026-11-16