腾讯团队发 HiSTEVE 1.0：纯键鼠操作让 VLA 智能体自主玩 Minecraft
_akhaliq · x · 2026-10-26
腾讯团队的论文 HiSTEVE 1.0 提出分层视觉-语言-动作（VLA）智能体，仅靠视觉观察和原生键鼠控制在 Minecraft 中自主完成长程任务，不依赖特权游戏状态或环境 API。
关键设计：
- 编排层：能力感知的 agent harness，带结构化记忆追踪进度，VLM planner 在 VLA 能力范围内选择子任务；引入策略耦合的任务完成检测器判定子任务是否完成
- 控制层：单一 VLA 执行所有子任务，纯视觉感知 + 原生键鼠动作；用 regime-specific RMSNorm 分支和独立的鼠标移动 token 嵌入缓解 GUI 与非 GUI 交互干扰
- 训练：世界知识注入 + 模仿学习 + 带环境反馈的强化学习，提升可靠性与恢复能力
成绩：MineStudio Bench 原子任务 85.0%（SOTA），OpenHA 平均成功率 37.4%，并能像人类玩家一样从零合成铁镐。
所属事件:港大浙大复旦联手腾讯推出键鼠操控 Minecraft 的 VLA 智能体(2 条相关)→
「具身」频道最新
- 人形机器人每一步都是连续纠偏：看 demo 要看摔倒后怎么恢复 — Olivier__OG · 2026-10-26
- CircuitHub 发布工厂级机器人 The Grid，美国产 PCB 提速两倍对标深圳 — garrytan · 2026-10-26
- AI 研究员曾预测机器人 2034 年才能跑赢人类，今年已被连续打脸 — ben_j_todd · 2026-10-26
- 上海AI实验室等发布 100 小时可穿戴采集人形机器人训练数据集 — ChuckDBrooks · 2026-10-26
- RealSense D585 Pro AI 3D 深度相机到货开箱，主打 Physical AI — chrismatthieu · 2026-10-26
- 网友晒「物理世界智能体集群」演示,实体 Agent 成群协作 — pduan · 2026-10-26