阿里 Accio 等发布 Neos:9B 多模态搜索模型逼近 Gemini-3.1-Pro 工作流
量子位 · wechat · 2026-11-14
阿里巴巴 Accio 团队、复旦大学和上海创新研究院提出 Neos,一个将数据构造、过程奖励与智能体环境协同进化统一的多模态深度搜索训练框架,目标是在搜索途中持续获取并核验视觉证据(如从演出照片出发逐步确认专辑录音机的旋钮数量)。
三大组件
- 数据构造:从知识图谱生成多跳任务,在推理链中安排视觉检查点;用「盲式」图像核验、问题重写去除实体泄露、四阶段过滤排除纯文本/短预算捷径。
- Credit assignment:成功轨迹保留组相对优势自由探索;失败轨迹借助经验证的参考定位关键错误、衰减后续影响,保留有效探索与自我纠正的正向奖励。
- MEI 协同进化:可训练的多模态证据接口负责筛选压缩网页/图片,与 policy 交替训练(policy 做 RL,MEI 从在线交互做 SFT),形成证据获取与搜索策略互相适应的闭环。
结果
- Neos-9B/35B 十项基准均分 60.7/64.7,比各自工作流基线高 17.4/15.5 分;Neos-9B 超过 DeepVoyager-VL-30B-A3B 的 58.6 分。
- Neos-35B 距 Gemini-3.1-Pro 工作流的 67.1 分仅差 2.4 分;BrowseComp-VL 上以 66.4 与 GPT-5.6-Sol 持平。
- 消融显示数据构造、过程奖励、协同进化分别有效;RL 过程中工具调用从每轨迹 29.7 次降至 20.2 次,阅读来源与核验视觉证据的比重上升。
代码与主页:github.com/Accio-Lab/Neos
「模型」频道最新
- 《递归模型坍缩》:模型如何在自我投喂中变成乖顺助手 — sebkrier · 2026-11-14
- Jason Calacanis 称年付 2 万美元的 Claude 不如 40 美元 Grok Bot,当场要换 — zacharynado · 2026-11-14
- 用户实测新模型:对话愉悦财务分析强,编码略逊 Sonnet — zacharynado · 2026-11-14
- Gemini 摘要新闻时把 Claude 称作 chatbot,被指暗讽对手 — nodal79 · 2026-11-14
- Plus 用户控诉 ChatGPT 订阅缩水:限额回归、新功能被排除 — fyn_world · 2026-11-14
- 实测决策模型:训练仅换来速度与成本,推理能力并未恢复 — someone_12443 · 2026-11-14