可解释性学者讨论:早期单语义特征能否在 RLHF 后留存
davidmanheim · x · 2026-10-20
David Manheim 在 X 上发起讨论:Nick Cammarata 近期声称训练早期出现、后期演化的(存争议的)单语义(monosemantic)特征,一个关键缺失问题是这些特征是否会在 RLHF/RL 后训练阶段持续存在还是发生偏移。他并向 Neel Nanda 等可解释性研究者征询:这一问题的答案对 Anthropic 新提出的 reward hacking 规避方法有何影响,以及用该方法降低 reward hacking 是否比现有手段更鲁莽。
「安全」频道最新
- Vals AI 评测:DeepSeek V4.1 Flash 攻防网络任务击败 GPT-6 Sol — Hesamation · 2026-10-20
- 微软在巴黎发布主权云新能力,覆盖公私云敏感负载 — satyanadella · 2026-10-20
- MARS:仅用文本拒绝方向实现多模态安全转向,免采多模态安全数据 — MHUGLab · 2026-10-20
- 联想论文揭示:安全护栏基准测的是标注政策,不是检测能力 — Vahid Jebraeeli · 2026-10-20
- Cisco 工程师复盘：把 AI 卖进五大银行,绕开 12 个月合规审查 — AI Engineer · 2026-10-20
- 微软 365 Copilot 未读邮件即泄露机密，病根是 1988 年的 confused deputy — YvesMulkers · 2026-10-20