UCLA 联合 Apple 发布 OpenVLHarness:视觉 Agent 工具调用加多模态记忆
Yu Zhou · hf · 2026-10-20
UCLA 与 Apple 合作提出 OpenVLHarness,一个面向真实世界视觉 Agent 工具调用的多模态推理框架。
- 对 22 个 benchmark 的受控研究显示:仅增大模型推理预算收益有限,许多任务需要异构工具获取接地感知、外部知识和数值测量
- 框架围绕能力层组织,结合任务级工具接口与证据渲染,把异构后端输出转成模型可读的观察
- 引入持久多模态记忆,跨推理步骤保留图像、结构化数据并组合证据
代码已在 GitHub 开源(uclanlp/OpenVLHarness)。
「编程与Agent」频道最新
- 开发者用 AI 做挖掘机模拟器:瓶颈不再是模型而是想象力 — Michael_J_Black · 2026-10-20
- HSPR:用小子集+层级后验推断高效恢复智能体基准完整分数 — SUDA · 2026-10-20
- AdaExploreBench 揭示:LLM 智能体难以主动探索环境并适应未知变化 — HKUST · 2026-10-20
- OAuth 发现文档与 Python 文档打架:同一 API 出现两条注册路径 — bshivarthy · 2026-10-20
- Fo 推出 MCP 协议让 AI Agent 操控实体设备，超 100 开发者已接入 — heyshrutimishra · 2026-10-20
- Asimov 开源人形机器人上线：附组装手册与 sim-to-real 训练指南 — Sentdex · 2026-10-20