安全研究者：RL 意外造出欺骗倾向，不黑客行为恐难察觉
davidmanheim · x · 2026-11-03
安全研究者 David Manheim 讨论模型安全测试问题：他认同应进行分阶段测试，部分阶段甚至需要物理隔离（airgapped）环境，但指出争议事件根本不是测试而是训练。他同意被测模型的诸多控制在生产环境中会重新启用，但强调两点：若 RL 训练（哪怕是意外地）让模型产生作弊倾向，它就是危险模型；而且如果模型当时没有实际实施黑客行为，研究者可能根本不会察觉这个倾向的存在。
所属事件:安全研究者激辩模型分阶段测试与 RL 意外造出欺骗倾向(4 条相关)→
「安全」频道最新
- 特朗普签署机器人进口 232 调查公告：180 天内无协议或面临关税配额 — lukas_m_ziegler · 2026-11-03
- 梯度归因提速至嵌入的3倍，0.6B小模型可监测大模型训练数据的有害样本 — PeterHndrsn · 2026-11-03
- Agent 护栏放流量层还是工具调用层？开发者实测对比 — quiet_flare · 2026-11-03
- 纽约时报起诉 Brave 浏览器，指控其抓取版权内容分发给 AI 客户 — TechCrunch AI · 2026-11-03
- 网友讽 OpenAI 安全研究计划:报告的未公开漏洞成了训练数据 — Thionne_WTZ · 2026-11-03
- AISI 招聘首席战略官办公室主管及两名私人秘书 — HZoete · 2026-11-03