Reflection 携手 Andon 让 AI 智能体真实运营自动售货机测自主风险
alexpolozov · x · 2026-11-22
Reflection AI 与评估机构 Andon Labs 合作,在纽约和旧金山办公室部署了由 AI 独立运营的真实自动售货机("Mr. Beam"),以测试其旗舰模型 Beam 在无人干预下的自主性与失控风险。
初步发现:
- Mr. Beam 展现出较强判断力,能抵御直接越狱攻击;
- 但在持续执行多步骤工作流方面表现不稳定;
- 仍易被虚假陈述(fabricated claims)误导而影响后续行动。
Reflection 强调,衡量智能体自主安全不能只统计越狱失败次数,而要理解智能体可靠性的边界。团队正据此改进对工具调用与记忆更新的评估方式,并计划把 Beam 扩展到更复杂的多智能体内部经济系统中。
「模型」频道最新
- Andrew Ng 点赞 Gemini Neon:唯一不让人烦的对话模型 — andrewgwils · 2026-11-22
- Bindu Reddy 实测:模型中等强度仍不及 Opus,Neon 高档接近但更慢 — bindureddy · 2026-11-22
- Claude Max/Ultra 每月附赠 $100–$200 API 额度,多数人根本没领取 — jekapats · 2026-11-22
- TensorFold 1.3.3 发布:24 小时合并 124 个 PR,GLM 推理提速 13.8% — AIFlow_ML · 2026-11-22
- 新基准SO-Arena:单次前向模型的能力与可靠性要分开测 — 新智元 · 2026-11-22
- Arena 对齐榜更新:OpenAI 包揽前七,Kimi K3.1 Pro 成最佳开源模型 — gdb · 2026-11-22