安全研究员:多智能体复杂系统让「模型级对齐」显得远远不够

sebkrier · x · 2026-11-07

安全研究员 Sebastian Krier 转发并认同一个观点:复杂智能体系统(多智能体、多模型、复杂工具调用框架)有太多可调环节,系统层面的行为和轨迹将主导最终结果,只盯着单个模型做对齐(model-scoped alignment)显得严重不足。相关讨论认为,与其把时间精力全部押在模型级对齐上,不如考虑加固遗留系统、或打造自带安全特性的执行框架。此观点出自 Krier 对自己 AI 安全立场的总结:他的主要威胁模型是「非国家行为体利用越来越便宜的技术」和「以善意铺路的政府过度扩张」,而非机器「密谋」;并强调安全与能力相互交织,不安全的系统在商业上通常无用或构成责任风险。

所属事件:DeepMind 研究者阐述 AI 安全观:滥用与系统风险更值得警惕(2 条相关)→

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →