UT Austin 等发布 Realtime-Bench:最佳 agent 成功率仅 44%

jiqizhixin · x · 2026-11-22

UT Austin、NVIDIA、俄亥俄州立、UIUC、西北大学团队在 arXiv 发布 Realtime-Bench,评测 agent 在动态环境下的实时决策能力。核心洞察:环境在模型「思考」时持续变化,一个本身正确的动作可能因来得太晚而失败。最佳 Wall Clock 成功率仅 44%,最佳 Pass-cubed(三轮全过)仅 36%;更多推理时间效果好坏参半。

基准提供三种时间推进方式:

任务形式为动态变化的 Game/Web 界面(fixed FPS 截图 + Set-of-Marks),agent 只输出 GUI 动作,随后世界推进到下一帧。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →