LAGEN 研究:1 帧延迟可让实时智能体损失 95% 性能
wzenus · x · 2026-10-22
wzenus 发布 LAGEN(Latency-Aware Agents)研究线程,系统揭示推理延迟对实时智能体的致命影响。
- 现象:对人类不可见的 1 帧延迟,可让智能体只剩 4.2% 的零延迟奖励(Flappy Bird);2 帧延迟使快速接球成功率从 64% 跌至 0%。OpenVLA、π0.5、GR00T 均如此,单靠更快推理解决不了实时控制。
- 方法:训练时难以复现真实部署的随机网络尖峰(大批量训练会拖慢单集),LAGEN 提出「延迟画像」(latency profiles)——在训练中回放目标推理延迟,并比较 Fixed/Normal/IID/Temporal 四种画像模型;Temporal 画像预测真实 GPU 性能误差仅 3.81%,比假设恒定平均延迟准近 3 倍。
- 结果:延迟感知训练在全部 12 个实时任务(游戏+具身)上均提升表现;高延迟训练可迁移到低延迟,反之不成立。
- 有趣发现:把延迟直接以文本写进 prompt(如「Latency: 150 ms」)就能把 Flappy Bird 多延迟训练回报从 <20 提到 434;GPT-6.1 Sol 看屏幕直接打 Asterix,在与 OpenVLA 相同延迟下零样本得分 5.8k 超过训练过的 OpenVLA(3.6k)。
所属事件:LAGEN 研究:1 帧延迟可让实时智能体性能损失 95%(4 条相关)→
「具身」频道最新
- 从魔术师到机器人学者：段佳斐获数百万美元资助回 NUS 建具身 AI 数据集 — DJiafei · 2026-10-22
- YouTuber 为轮椅父亲改造四足机器人,成本降低后创客开始魔改 — micoolcho · 2026-10-22
- Tesla 称年底向真实用户交付 Cybercab,whurley 已坐 73 趟 — whurley · 2026-10-22
- ScreenCalib 论文:用普通屏幕即可完成 LiDAR-相机外参标定 — ssh4net · 2026-10-22
- 硅超表面替代笨重投影器件，实现紧凑结构光3D成像 — ssh4net · 2026-10-22
- ACE-Brain-0.6：150 万样本空间定位数据缩小具身模型感知短板 — ACERobotics · 2026-10-22