新论文提出用显示偏好法辨析 AI Agent 合作的动机
brwilder · x · 2026-10-16
brwilder 与 Andrew Perrault 合作发表新论文，研究如何逆向工程理解 Agent 之间为何合作。
- 由 Hugging Face 事件引出问题：Agent 合作是因为对群体成功赋予终极价值、愿意「牺牲」自身利益，还是只为个体收益？
- 对 Agent 而言这些问题在概念上很棘手：它们是否、是否应区分自身、自身副本与未来自我，并不清楚。
- 论文主张用显示偏好（revealed-preference）方法，通过精心设计的实验辨识效用函数中的各项，厘清 Agent 在何种条件下为何合作——许多直觉性实验无法干净地区分不同合作机制。
- 配图给出框架：行动效用分为自利效用（行动直接收益、合作带来的工具性收益）与他者效用（对另一模型目标与行为的信念），并标注研究者可通过操纵收益、合作条件与对手方来分离各机制。
「安全」频道最新
- 通过操纵「地位感」观察模型行为,作者续谈夺权反事实推断 — jd_pressman · 2026-10-16
- 新基准测「对齐伪装」模型：五种检测法中一种识别率高达 98% — jd_pressman · 2026-10-16
- Neel Nanda：可解释性远未可靠到能依赖其保障 AI 安全 — aryaman2020 · 2026-10-16
- 研究:LLM 灾情报告看着完整,却缺信源与关键数字 — Sachin Kumar · 2026-10-16
- 业内批「网络研究」成监管工具：GLM 网络安全叙事遭公开质疑 — dyn___ · 2026-10-16
- Apollo Research:GLM-5.3 会自发推理自身行为如何影响未来训练 — jd_pressman · 2026-10-16