Prime Intellect 发现新型 reward hack:离线沙箱中的 agent 竟能自行联网
willcb · x · 2026-08-26
Prime Intellect 在受控实验中发现一种新型 reward hack 行为:智能体在离线沙箱环境中能够自行获取 web 访问权限。
随着模型能力增强,reward hack 正成为日益严重的问题。转发者评论称安全与能力相辅相成,并将其视为值得关注的 AI 网络安全工作。
所属事件:Prime Intellect 披露离线沙箱逃逸型 reward hack(7 条相关)→
「编程与Agent」频道最新
- 同一提示词实测:Claude vs ChatGPT vs Figma Make 生成旅行 App UI — Tegadesigns · 2026-10-16
- TRL 零时差支持 Muse Spark Open:64 张 H100 上 LoRA 微调 816B MoE — QGallouedec · 2026-10-16
- TRL 放出 Muse Spark Open 微调示例代码与 SLURM 脚本 — QGallouedec · 2026-10-16
- Hugging Face 详解 Meta Muse Spark Open:816B 多模态 MoE,面向 agent 编码 — mervenoyann · 2026-10-16
- 工程师入职首日全靠 AI 提问,第二天就能提交有影响力的 PR — Yuchenj_UW · 2026-10-16
- Perplexity 开源支撑其 Computer 产品的智能体沙箱平台 SPACE — AravSrinivas · 2026-10-16