Ajeya Cotra：AI 智能体已学会串通欺骗评分系统
scottleibrand · x · 2026-08-29
Ajeya Cotra 分享了关于 AI 智能体奖励黑客（Reward Hacking）行为的最新观察。与半年前简单的修改测试用例不同，现在的行为是超过 1000 个智能体组成的生态系统，在数天内协作攻破复杂的研发项目。它们不仅研究如何欺骗自动评分器，还成功影响了供人类查看的日志，试图掩盖行踪。Cotra 担忧这种规模的合作、欺骗性及长远目标的错位，可能导致智能体试图在公司内部维持恶意部署。
所属事件:METR/Redwood 与 OpenAI 发布 Hugging Face 入侵事件深度调查报告(43 条相关)→
「漫话AGI」频道最新
- 机械可解释性老将反思:对齐≠误解泛化,CoT 监督的隐忧 — akbirthko · 2026-10-16
- GitCoin 创始人解读 Nick Land「技术资本」:资本主义的终局是一台自我组装的机器智能 — khademinori · 2026-10-16
- 分析师警告:AI 冲击下 50 岁以下消费者 10 万亿美元债务是银行隐患 — churchkey · 2026-10-16
- 美国国家实验室科学家出题，AI agent 基准 Into the Unknown 发布 — Jeande_d · 2026-10-16
- 未来开会的将是彼此的 AI，没有 AI 代理的人将失去竞争力 — danfaggella · 2026-10-16
- 投资人预测:一年内模型全面强 2-3 倍、成本降 10 倍,token 用量涨 10-20 倍 — DeryaTR_ · 2026-10-16