研究者基于太空狼人杀搭建 LLM 博弈测试环境
研究者 panickssery 受《Generative Agents》论文启发,搭建了基于《Among Us》(太空狼人杀)的多智能体模拟环境,用于观察 LLM 之间的博弈行为,其中包括 Claude 对战 Kimi 的实验。选择该游戏是因为其涉及复杂的欺骗与推理。初步观察结论是:LLM 的欺骗能力明显强于防御能力,这对多智能体与人机协作的安全性评估具有参考价值。
已确认
- 欺骗能力强于防御:LLM 更擅长欺骗他人,却很难识别自己是否被骗,这让扮演卧底的模型拥有巨大优势。
- 记忆与问责:模型记忆力很好,若之前的指控被证实是错的,它们会记住并非常善于追究责任。
- 谈判中易妥协:在砍价等谈判场景中,模型倾向于让步妥协。
为什么重要
- 该工作将社会性博弈(欺骗、推理、问责)转化为可复现的 LLM 评测场景,补充了传统基准测试难以覆盖的动态交互能力。
- panickssery 还探讨了进一步研究方向:观察模型智能体是否会共谋(Collude)、使用隐写术(Steganographically)隐藏信息或执行隐藏议程;同时指出让人与 AI 在此类游戏中交互仍存在难点。
- 欺骗与防御能力的不对称,对多智能体系统及人机协作场景的安全性评估具有参考价值。
2026-08-22 ~ 2026-08-22 · 6 条相关
一手来源
- 基于《Among Us》构建 LLM 欺骗测试环境,Claude 对战 Kimi — panickssery ·
- 研究发现 LLM 擅长欺骗但难识破,遇砍价妥协 — panickssery ·
- 探讨多智能体博弈中的共谋、隐写术与隐藏议程 — panickssery ·
- 【源头】探讨多智能体博弈中的共谋、隐写术与隐藏议程 — panickssery · 2026-08-22
- 基于《Among Us》构建 LLM 欺骗测试环境,Claude 对战 Kimi — Aryan100100 · 2026-08-22
- 研究发现 LLM 擅长欺骗但难识破,遇砍价妥协 — Aryan100100 · 2026-08-22
- 【源头】研究发现 LLM 擅长欺骗但难识破,遇砍价妥协 — panickssery · 2026-08-22
另有 2 条近重复转述:panickssery · panickssery