港科大提出视觉原生智能体框架与 ODE 数据演化，NeurIPS 2026 接收
机器之心 · wechat · 2026-11-14
港科大 MMSenseLab 提出视觉原生智能体框架（Visual-Native Agent Harness）与数据合成方法 On-policy Data Evolution（ODE），论文已被 NeurIPS 2026 接收，用于多模态深度搜索智能体训练。
框架核心是给工具链中的每张图分配编号存入图像库，让后续工具可随时复用之前搜索或裁剪过的图片，解决多模态搜索中搜回图片无法传给下一个工具的问题。例如智能体裁出山脊去以图搜图，找到照片后还能放大核对，最终锁定雪山照片拍摄于折多山垭口。
ODE 让数据合成器根据目标模型的解题记录（rollout）迭代修订出题规则，并用下一轮 rollout 检验调整效果，最多演化五轮。用 ODE 数据训练后：8B 模型在八项评测上的平均准确率从 24.9% 升至 39.0%，30B 模型从 30.6% 升至 41.5%，与 Gemini 2.5 Pro（42.21%）接近；同一框架下 Gemini 2.5 Pro 也能从 37.9% 提升至 42.21%。消融显示图像复用与数据演化各自贡献显著：关闭图像复用时 MMBC 准确率仅 7.59%，保留全部图片升至 12.50%；等量数据下 ODE 组在强化学习对照中全面优于固定规则组。
「研究」频道最新
- Vauss 训练 Gaussian Splat 比 gsplat 快 5.4 倍，106 秒建出场景 — ravisparikh · 2026-11-14
- Gradio 发起 AI 复现 NeurIPS 论文挑战赛:11 月 20 日开赛,送 HF 算力 — Gradio · 2026-11-14
- ICLR 2027 Rebuttal Radar 上线：实时追踪审稿分数升降与反转 — 3scorciav · 2026-11-14
- 论文宣称「Harness 工程终结」：让循环自动改写 agent 框架，人类只留考卷 — blaizedsouza · 2026-11-14
- 论文提议 AI 时代同行评审新制：1500 字正文 + 机器可验证附录 — WalterReade · 2026-11-14
- EnvOpt 研究：优化 Agent 环境呈现方式可大幅降本提效 — AlexGDimakis · 2026-11-14