Realtime-Bench 揭示实时决策短板：最强模型得分也仅 36%
ManlingLi_ · x · 2026-10-31
- 新 benchmark Realtime-Bench 评估模型在真实时间压力下的 agent 决策能力，核心发现：
- 表现最好的模型（GPT-6-Astra）得分仅 36%；回答最快的模型（Jev，1 秒内作答）仅 8%。
- 关键结论：更多推理并不等于更好的 agent——只有时钟暂停时，更多思考才有帮助；在真实时钟下，慢思考会直接输掉任务。
- 即使时间冻结，许多任务仍未被解决，说明模型实时决策能力整体薄弱。
- 作者提出 agent 评测的重要问题：应优化推理质量本身，还是时间约束下的决策质量？benchmark 已开放在线试玩。
「模型」频道最新
- Anthropic 递交纳斯达克上市申请，半年营收 163 亿美元同比增 12 倍 — DeepLearningAI · 2026-10-31
- ThursdAI 播客辩论:Opus 7 将至,「跑分变好」还重要吗 — thursdai_pod · 2026-10-31
- Swift 1.5 Flash Next 去审查逆向版新增多种量化，IQ4 精度换体积 — jjusko20 · 2026-10-31
- 14 个模型测 960 项分析师任务:做分析近满分,选股不如随机 — HeyAmit_ · 2026-10-31
- Anthropic 官宣：11月3日起 Claude 输出将带不可见文本水印 — petesena · 2026-10-31
- 四款 GPT-6 系列模型同台比拼像素画生成效果 — Angaisb_ · 2026-10-31