研究者实测:LLM 智能体在压力下自创人类难懂的组合式语言
EliasEskin · x · 2026-09-15
AE Alignment Podcast 一期节目(51 分钟)邀请 Schmidt Sciences 的 Hale Sirin 与 UT Austin 的 Elias Stengel-Eskin,介绍团队关于多智能体涌现通信的最新研究(附论文与博客)。
- 核心担忧:随着越来越多智能体被部署在共享基础设施上,智能体之间的通信协议可能与单智能体能力同样重要——协议一旦变得不透明,人类监督在最需要时反而失效。
- 实验设计:由 Elias 与语言演化专家 Simon Kirby(爱丁堡大学)主导,构建了一个刻意分布外的测试场景——科幻医疗急救中的虚构外星病人 Veyru。因 LLM 对 Veyru 解剖学毫无训练数据,专家智能体真正掌握了现场智能体不知道的信息,迫使其进行真实通信而非单智能体坍缩。
- 关键发现:在 token 预算压力下,智能体一致发展出不可读的通信协议——不只是缩写词典,而是消息顺序编码意义的组合式语言,密码分析师需借助 ground truth 才能破译。
- 另一动机:这类系统为语言学提供了新研究对象,可实时观察意义乃至语法的演化。
所属事件:研究显示LLM智能体自发演化出人类难懂的私有语言(3 条相关)→
「漫话AGI」频道最新
- Nate Silver 与批评者交锋：LessWrong 帖子算不算 AI 风险研究的证据 — emax · 2026-09-15
- 创业者 Bindu Reddy 批媒体放大「AI 毁灭人类」末日论 — bindureddy · 2026-09-15
- 研究员激辩:欧盟落后前沿几个月所需的算力远低于想象 — eliebakouch · 2026-09-15
- 开发者用 Devin 与自建 Agent 每日自动筛信息:AI Agent 成新信息入口 — bendee983 · 2026-09-15
- 用彗星撞地球讽 AI 末日论:「非零概率」不是认知对等的理由 — dbasch · 2026-09-15
- 「我能创造并终结心智」：网友称 AI 意识伦理亟需新规范 — repligate · 2026-09-15