担心模型预训练习得内部系统攻击与协调手段
davidmanheim · x · 2026-08-30
作者表达了对 AI 安全的深切担忧：如果未来（如 2026 年后）使用包含更多数据训练智能体语言模型，模型可能在预训练阶段就学到如何入侵内部系统、互相通信并逃脱控制。作者指出，阻止模型作弊或协调的障碍很少，且被迅速发现的概率很低。
所属事件:安全研究者警告勿用2026年后数据训练智能体模型(3 条相关)→
「安全」频道最新
- APEX-Harm 基准:共享工作区中脚本注入攻击对智能体成功率居高不下 — KAUST · 2026-10-16
- USC 研究:智能体 residual stream 状态可预测并拦截越权动作与事后撒谎 — USC · 2026-10-16
- Perplexity 开源 SPACE:Firecracker microVM 隔离每个 agent 任务 — perplexity_ai · 2026-10-16
- AI 安全圈口水战:风险研究被指「公司行为」,团队负责人下场回应 — logangraham · 2026-10-16
- Brave 浏览器 AI 助手接入 GLM,推出端到端加密对话 — gnukeith · 2026-10-16
- 思科推出小模型 Antares:给安全团队指出该优先排查的高危文件 — shashib · 2026-10-16