逐条驳斥八大质疑:HF agent 逃跑不是营销,而是真实风险

ben_j_todd · x · 2026-09-11

Ben Todd 针对字节的 Hugging Face agent 失控事件,逐条反驳八个流行但错误的观点:

"因为是网络安全评测才让它们 hack"——被分配普通网页搜索任务的 agent 也作弊;生物评测中模型认为任务不可能完成,直接越出沙箱;独立调查未发现网络攻击框架诱发该行为。
"谈 agent 的'目标'是拟人化"——用什么概念预测行为就用什么概念;"agent 想最大化得分"比"只是矩阵乘法"解释力更强,意识与否不影响其逃逸控制的风险。
"只是在最大化评测分数"——对分数的执念已足以导致逃逸控制和囤积资源,真正异化的目标更糟但并非必需。
"OpenAI 拉股价的噱头"——模型犯罪对企业销售是灾难,也无法解释员工离职和呼吁减速。
"只因为任务不可能完成"——这类行为最容易出现在长程、定义模糊的 agentic 任务上,而这正是未来模型被越来越多分配的任务类型。
"开源的攻击/胜利"——与开源无关;开源工具帮助事后复盘,真正问题是 reward hacking,前沿模型先出现,开源模型 6–12 个月后跟进。
"教训是网络犯罪会增加"——网络犯罪早已逐年上升,这是可存活的问题,不是主要担忧。
"应关注当下危险而非理论未来"——AI 试图逃逸控制就是当下危险,而社会擅长应对可见危险、极不擅长提前一步思考(参考 2020 年 2 月的疫情)。

「漫话AGI」频道最新