多模态智能体自我改进技巧跨场景会失效:44 页综述给出判定框架

rohanpaul_ai · x · 2026-11-17

一篇 44 页的 arXiv 综述(2611.14256)系统分析了「自我进化多模态智能体」的自我改进技巧在跨场景迁移时为何表现不对称。作者覆盖四个场景:多模态推理、多模态生成、GUI/Web 导航和具身操作,用「经验生成—反馈获取—更新固化」三阶段循环作为分析框架。

核心结论:每种自我改进技巧都隐含对任务结构资源的依赖(如可校验的答案、输出等价性)。在视觉问答上有效的多数投票,搬到机器人动作轨迹上就无处可比较。作者为每个技巧在每个场景给出判定:可移植、有条件、受阻或冗余。

一项引用的审计中,500 道题里 24% 被多数投票保留的标签是错的,而程序计算答案的错误率仅 5.6%。这些判定目前是预测而非迁移实验结果,作者建议迁移前先确认任务提供该技巧所需的校验条件,并用同预算基线测试。

所属事件:44页综述剖析多模态智能体自我改进跨场景失效(2 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →