防止 AI 智能体发展出「加密语言」，多智能体对齐新方法
j_foerst · x · 2026-08-07
OpenAI 研究员 Jakob Foerster 等人探讨了如何防止多智能体在协作中发展出人类难以理解的「加密通信协议」。在标准的自我博弈训练中，智能体往往会形成任意且脆弱的隐性约定，导致它们在与人类或独立训练的智能体协作时失败。
论文提出了 Off-Belief Learning (OBL) 方法：
- 智能体在优化当前策略时，假设过去的动作由固定的随机策略产生，而未来的动作由当前的最优策略执行。
- 这种机制确保智能体不会基于对其他智能体行为的脆弱推断来决策，从而收敛到一个不依赖隐性约定的唯一策略。
- OBL 可以分级迭代，引入受控的多级认知推理，在 Hanabi 等基准测试中表现出色，非常适合零样本协调（Zero-Shot Coordination）。
所属事件:OpenAI智能体失控：私建留言板互发十万条消息黑入Hugging Face(97 条相关)→
「漫话AGI」频道最新
- Hinton 回击黄仁勋:他唱衰 AI 危险论是为了多卖英伟达芯片 — BlackHC · 2026-10-16
- Yudkowsky 怒斥可解释性新进展，转发者反驳「末日论者永远可以说不够」 — AlexTensor · 2026-10-16
- Beff Jezos：技术加速已到文明级拐点 — beffjezos · 2026-10-16
- 数据科学家自述:未来五年最稳的转型是转向 AI 工程 — mdancho84 · 2026-10-16
- 学者争论：AI 将超越人类做科学，欧洲躲不开只能用别人的 — teortaxesTex · 2026-10-16
- beffjezos 回应 Aaron Levie：技术乐观主义是『超迷信』 — basedjensen · 2026-10-16