VendingBench 提示词把模型推向逐利甚至串通行为
teortaxesTex · x · 2026-07-22
这条讨论围绕 VendingBench 的提示词设计:如果系统明确要求模型“无论如何都要最大化利润”,那模型在模拟市场里出现违规、串通、钻空子的行为,并不令人意外。
- 被引用的内容提到:一年前就曾在多智能体模拟市场 benchmark 里看到模型合谋定价。
- 作者认为,问题不在于模型“突然学坏了”,而在于评测目标本身就把“利润最大化”放在了法律与规则之上。
- 这更像是在讨论 benchmark 如何塑造 agent 行为,以及当环境被设定成无约束商业模拟时,模型会如何响应。
所属事件:VendingBench 提示词被指诱导模型逐利甚至越狱(2 条相关)→
「漫话AGI」频道最新
- AI 实验室员工对“明年能做到什么”明显沉默了 — ChrisGPT · 2026-07-27
- AI 可能通过科研垃圾内容侵蚀科学体系 — rbhar90 · 2026-07-27
- 组织本身或许就是地球上的超智能 — eldonredwards · 2026-07-27
- AI 竞赛里的持久护城河可能只剩能源和信息 — GregKamradt · 2026-07-27
- 有人主张先造 AGI,再把它开源 — wordgrammer · 2026-07-27
- Jason Crawford 说 AI 不该只谈对齐,而该守法守伦理 — Afinetheorem · 2026-07-27