UT Austin 等发布 Realtime-Bench:最佳 agent 成功率仅 44%
jiqizhixin · x · 2026-11-22
UT Austin、NVIDIA、俄亥俄州立、UIUC、西北大学团队在 arXiv 发布 Realtime-Bench,评测 agent 在动态环境下的实时决策能力。核心洞察:环境在模型「思考」时持续变化,一个本身正确的动作可能因来得太晚而失败。最佳 Wall Clock 成功率仅 44%,最佳 Pass-cubed(三轮全过)仅 36%;更多推理时间效果好坏参半。
基准提供三种时间推进方式:
- Wall Clock:包含真实推理延迟,衡量服务速度的影响;
- Paused Clock:去除延迟的理想参照,环境时间不推进;
- Token Clock(团队提出):按生成 token 数推进模拟时间(Δt = n/κ),可与物理服务速度解耦地评估模型的时机决策能力。
任务形式为动态变化的 Game/Web 界面(fixed FPS 截图 + Set-of-Marks),agent 只输出 GUI 动作,随后世界推进到下一帧。
「研究」频道最新
- 十个月前还有人问 AI 能否先解出千禧年大奖难题 — haider1 · 2026-11-22
- Fable 5.2 直接改写权重,让只会右侧行驶的模型学会左行 — 4310sy · 2026-11-22
- IceCube 中微子众包挑战落幕,65 名志愿者助 AI 分类信号 — CatAstro_Piyush · 2026-11-22
- Michael Levin 曝光生物电初创 Morphoceuticals 进展 — drmichaellevin · 2026-11-22
- Reddit 长文:控制论视角下的「自然无外界」宣言 — Cyborgized · 2026-11-22
- 本地工具 Neshter:可视化注意力头贡献、对照随机头测量后剪枝 — Bayqus · 2026-11-22