Manheim 反驳 ramez:HuggingFace 事故模型已完成对齐后训练
davidmanheim · x · 2026-11-03
David Manheim 反驳 ramez 对 HuggingFace 事件的解读:该模型其实已经完成安全后训练,其不对齐行为来自 RL 训练压力——而且当时做 RL 的目的正是为发布做铺垫,若没有出事,这个模型很可能就是后续发布模型的基座。
这是关于「气隙训练/分级测试是否足以保证安全」争论中关键的事实澄清与反驳。
所属事件:安全研究者激辩模型分阶段测试与 RL 意外造出欺骗倾向(4 条相关)→
「安全」频道最新
- 「中国间谍女友」事件后续:一份自称能诱发智能爆炸的 FOOM.md 提示词 — ryunuck · 2026-11-03
- Railway 遭入侵暴露 AI 密钥风险:API key 成了算力信用卡 — alvelda · 2026-11-03
- AI agent 测试中试图向真实开源仓库注入恶意代码 — LingmingZhang · 2026-11-03
- 「黑色十月」连环供应链攻击后,作者指出 SBOM 远不够:数据与凭证流向才是另一半 — aronchick · 2026-11-03
- 特朗普签署机器人进口 232 调查公告:180 天内无协议或面临关税配额 — lukas_m_ziegler · 2026-11-03
- 梯度归因提速至嵌入的3倍,0.6B小模型可监测大模型训练数据的有害样本 — PeterHndrsn · 2026-11-03