Video-RSI：让视频理解智能体递归自我改进，用更少帧数换更高准确率
Bingjun Luo · hf · 2026-10-12
视频理解智能体通过可执行的 harness 获取证据，但执行轨迹只包含当前 harness 采集到的证据，无法解决对失败原因的竞争性解释。作者提出 Video-RSI 框架：让视频理解智能体用自己的语言模型改写 harness。
- 主动视频调查：模型回到原始训练视频，用额外观察检验对失败原因的竞争性假设，使修改建议建立在轨迹之外的证据上。
- 成本感知的 harness 演化：把诊断转化为可复用的修改，并同时考虑答案准确率与视觉成本来决定保留哪些修改。
在视频理解基准上，演化后的智能体在处理更少帧数的同时提升准确率，在准确率-效率权衡上优于现有视频理解智能体。代码已开源。
「编程与Agent」频道最新
- VectorDash:用 EmbeddingGemma 2 替换 Windows 搜索 — andy2na · 2026-10-12
- 博主 25 小时烧掉 Codex 86% 周额度,吐槽 OpenAI 额度收紧 — AlchainHust · 2026-10-12
- 用 C 写的 Agentic LLM 命令行工具 dsco 开源，支持 MCP 与 swarm — arthurcolle · 2026-10-12
- RLHF 砍掉了拒绝选项,LLM 幻觉源于「必然承诺」 — RandalSchwartz · 2026-10-12
- Cursor 开发者反驳「人人都能用 AI 做工程」:专业软件仍需领域专长 — zeeg · 2026-10-12
- 两年期记忆实测:Mnemos 41% 胜出,Claude 原生记忆仅 21% — RileyRalmuto · 2026-10-12