图像实验室登顶机器人榜:FLUX 3 Action 可微调上桌面机械臂
lmoroney · x · 2026-09-30
Black Forest Labs(FLUX 图像模型团队)发布 FLUX 3 Action,一个 7B 开源权重「世界动作模型」:输入一帧摄像头画面和文字指令,输出未来 2 秒的动作序列。
- 架构:扩散 Transformer,联合去噪视频 token 与动作 token;冻结的视频 VAE 处理画面,冻结的 Qwen3-VL-4B 编码指令;每次调用返回 32 个动作和 32 个预测帧。
- 工作方式:模型在决定怎么动的同时「想象」场景接下来会长什么样;控制时可跳过帧、执行部分动作、再看、再规划。
- 权重:提供 base、Franka 臂的 DROID 微调版、SO-101 微调版三个 checkpoint;还展示了在两个小游戏和 NVIDIA Isaac Sim 中训练的室内无人机上的微调,定位是可适配自家任务的通用策略。
- 榜单成绩:在 NVIDIA RoboLab-120(120 个仿真桌面任务)上以 42.9%(1200 次试验中 515 次成功)排名第一,领先 HiDream-O1-Embodied(39.9%)、Atomic-WAM(39.6%)、OASIS(39.0%)。
作者还提醒了上手前值得注意的坑。可用 LeRobot LoRA 微调到桌面级小机械臂上。
「具身」频道最新
- 全开源 VLA 模型 MolmoAct2 入选 CoRL 2026 Spotlight，性能比肩 π0.5 — jmin__cho · 2026-09-30
- 曝苹果 HomePad 智能家居中枢 10 月 13 日发布,同场还有新 HomePod mini 与 Apple TV — tomwarren · 2026-09-30
- 自动驾驶入门开源库新增 VFH 避障：LiDAR 按 5° 扇区建直方图 — 4310sy · 2026-09-30
- 开源 FreeCAD AI Bridge:让本地或云端 AI 直接建 3D 模型 — poofph · 2026-09-30
- 船舶自动驾驶公司 Eight Knot 融资 4.5 亿日元加速产品化 — 4310sy · 2026-09-30
- DevDay 只字未提 OpenAI 硬件产品，爆料称 2027 年发售 — kimmonismus · 2026-09-30