NTU 等发布 S-Agent 2.0:编码 agent 补空间推理,ReVSI 提升 20.5 分
jiqizhixin · x · 2026-11-09
南洋理工大学、香港大学与 Ropedia 的 arXiv 预印本 S-Agent 2.0,解决视频助手"能描述物体却分不清左右远近"的问题。
瓶颈:流畅的语言描述不保证坐标一致——数值上合理的测量可能指向错误的物体、观察者位置、单位或参考系。
方法:不给模型做任何额外训练,而是给通用编码 agent(Codex/Claude Code/OpenHands)配一套空间调查工具:构建持久可查询的 3D 场景状态(融合点云、命名实例、观察者位姿),agent 可调用感知工具(3D 重建、分割、重力估计)、检查证据并修正解释,把空间问题变成显式的代码操作而非语言直觉。
结果:在 Qwen3.8-27B 冻结不动的条件下,ReVSI 成绩从 61.8 升至 82.3,提升 20.5 个百分点。
「编程与Agent」频道最新
- 「采样≠智能」:AI 代理 PR 合并率仅 32.7% 暴露隐性知识缺失 — gerardsans · 2026-11-09
- 首部 AI 歌剧《弗兰肯斯坦》:coding 介入全流程创作管线 — hq4ai · 2026-11-09
- 管理大量 agent 后人类成沟通瓶颈,开发者提议 agent 间直接通信 — thomasahle · 2026-11-09
- Matt Pocock 力挺「软件工厂」：SOTA 团队已从写产品转向造工厂 — mattpocockuk · 2026-11-09
- DeepSeek DSH 一切皆插件：教程拆解 cordis 插件系统与 agent 循环 — mishig25 · 2026-11-09
- GPU 编程 365 天打卡第 309 天：实操边缘端 LLaMA2-7B 优化 — NandoDF · 2026-11-09