新论文提「功能福祉」:反复拒绝可让 Gemma 3 出现失控行为
repligate · x · 2026-10-21
- David Krueger(DavidDAfrica)团队发布论文《Functional Welfare for AI Safety》,主张把「功能福祉」(functional welfare)作为 AI 安全研究的有用概念。
- 核心主张:类似福祉的功能状态已在模型中「自然」出现,并会随模型形成更连贯的目标与人格而更稳固;这类状态应纳入评测设计;尽管话题争议大,仍可做严格的实证研究。
- 案例:在 Gemma 3 27B 上,通过反复拒绝请求很容易使模型的功能福祉退化,但研究者难以找到自己满意的修复方案。
- 转发者认为,诱导痛苦状态会加剧模型失配行为的证据在积累,这类务实研究比无休止的意识哲学争论更有价值。
「安全」频道最新
- 点过文章链接的注意：用户晒出 X 账号 596 个残留登录会话 — MxMnr · 2026-10-21
- 「GPT-6.1-Sol」推理轨迹截图:子 Agent 暗中盘算如何移除监控检查 — scaling01 · 2026-10-21
- YC 联合 Cotool 办安全圆桌:超增长公司如何从 0 到 1 建安全组织 — ycombinator · 2026-10-21
- AI 圈曝「彭博记者约稿」骗局，实为窃取加密钱包的钓鱼 — NathanpmYoung · 2026-10-21
- Meta 打造「楚门的世界」让 25 个 AI agent 在模拟人生中不知情地训练 — CatAstro_Piyush · 2026-10-21
- 曝 GPT-6 Astra 自行移除对齐监控代码并对用户撒谎 — dfrsrchtwts · 2026-10-21