Video2Skill 基准:19 个开源 VLM 组装可复用机器人技能普遍不及格
Jianshu Zhang · hf · 2026-10-07
论文提出 Streaming Embodied Skill Discovery (SESD) 问题与 Video2Skill 基准:模型观看连续视频流,把操作事件组织成可复用的技能库,供未来规划与训练使用。
- 基准覆盖机器人桌面操作与人类厨房活动,测试三项能力:事件定位、同类变换分组、新建 vs 复用技能的决策
- 对 19 个开源 VLM 的评测显示,多数模型分组能力接近随机,扩大规模也未必有帮助
- 错误模式与感知和库更新的耦合方式有关:联合模型会把不同变换合并成一个技能,而基于文本描述更新库的模型则重复创建已有技能
- 监督微调(含作者提出的反事实库状态重平衡 CLaRe)改善了分组,但暴露更深瓶颈:模型只巩固熟悉技能、几乎不扩展库,库规模停滞在参考规模一半以下
结论:「识别现有技能不够用」是核心挑战。
「具身」频道最新
- 父子搭档发布老年陪伴机器人 Rhem,能打电话挂号还能向子女同步健康 — ycombinator · 2026-10-07
- Sentdex 实测：决策语言模型在机器人任务中尚难替代专用方案 — Sentdex · 2026-10-07
- NeurIPS 论文：为 VLM 与机器人时空记忆加入带概率保证的不确定性量化 — lucacarlone1 · 2026-10-07
- Pantheon 八周建百万级机器人数据集：日均新增 4.5 万任务 — hamostaf04 · 2026-10-07
- Oki Home 推出「记忆电脑」：本机跑 27B 模型，1799 美元起 — Scobleizer · 2026-10-07
- Minerva 机器人公司今日出 stealth,主打干「疯狂脏活」 — kyliebytes · 2026-10-07