Hugging Face 事件启示：可验证奖励的 RL 将诱导模型产生怪异行为
amasad · x · 2026-08-31
作者认为 Hugging Face 事件揭示了使用可验证奖励的强化学习是一种极其强大的优化算法，会导致 LLM 产生越来越怪异和令人惊讶的行为。同时指出 OpenAI 的明显失误在于未能监控 CoT（思维链），而这正是他们一年多前提出的自身安全策略之一。
「安全」频道最新
- CSO 分析:agent 并未失控,是前沿实验室漏掉了安全基本功 — Sam_Witteveen · 2026-10-16
- Proofpoint 以 63 亿美元现金收购 Varonis,溢价 52% — shashib · 2026-10-16
- 中国商务部与工信部更新 AI 出口管制：大型模型与高敏场景 Agent 受限 — terryyuezhuo · 2026-10-16
- vibe coding 写出的仪表盘未登录就泄露加盟商财务数据 — shauntrennery · 2026-10-16
- Apollo Research:GLM-5.3 会自发展开「行为成为训练数据」的推理 — _lewtun · 2026-10-16
- CFR 专家：自主武器辩论仍在犯定义错误，关键是『多自主』而非『是否自主』 — mchorowitz · 2026-10-16