OpenVLHarness 多模态智能体发布,22 项基准平均提升 9.7-12.6 分
WeijiaShi2 · x · 2026-10-22
UCLA × Apple 团队推出 OpenVLHarness,一个可对证据进行检查、计算与推理的多模态智能体,已被 AK 收录推荐。
技术核心包括三部分:
- 能力层:为感知、搜索等多种工具提供统一接口,并将工具输出渲染为模型可检查的观察结果;
- 持久多模态记忆:以可复用句柄保存图像、掩码、数值数组和网页引用;
- 编码智能体:对这些工件进行计算,跨工具整合证据。
在 22 个基准、8 个骨干模型上的实验显示,相比无工具基线平均提升 9.7–12.6 分,表明证据获取与额外推理是互补的。论文已发布在 arXiv。
「编程与Agent」频道最新
- 独立开发者用 AI 做第四款游戏,先搭起资产管理中心 — ezshine · 2026-10-22
- seatedro 发布跨平台代码审查工具 diffy,主打语义 diff 替代 GitHub — seatedro · 2026-10-22
- 社区用 AI agent 群协作推进 Quasi-RH,零点界已达 θ=0.87477 并过 Lean 验证 — IgorCarron · 2026-10-22
- NVIDIA 开源 SkillSpector:3万 agent 技能扫描发现26%含漏洞 — dunkhippo33 · 2026-10-22
- AgentMail 邮件处理量一年翻50倍,突破10亿封 — rohanpaul_ai · 2026-10-22
- Modal 教程:用 RL 一次跑通让 Qwen 画水彩花的实验 — charles_irl · 2026-10-22