LiveClawBench评估真实助手任务
jiqizhixin · x · 2026-07-12
来自 Samsung、HKUST、CityU 和 PKU 的研究者提出 LiveClawBench，用于评估 AI assistant 在复杂真实任务中的表现。
核心设计
- 采用 Triple-Axis Complexity Framework
- 用 full-stack mock apps 保留有状态交互，尽量贴近真实环境
- 覆盖 10 个领域、22 个服务，共 134 个案例
结论
作者认为，这个基准比现有 benchmark 更能测试“现实世界里的复杂 assistant 任务”，尤其是多轮、跨服务、需要保持状态的场景。帖子附了论文、GitHub 和报告链接。
「研究」频道最新
- gdb 宣布 AI 辅助拿下数学、复杂性理论与量子场论三项科学发现 — gdb · 2026-10-27
- 学术圈观察:AI 一边制造论文垃圾,一边清理人类遗留的学术垃圾 — _akpiper · 2026-10-27
- CMU 等团队提出「epiplexity」:为计算受限智能体重定义信息量 — davidmanheim · 2026-10-27
- 4 个 Gemini 智能体自助协作 27 小时通关 Minecraft — rohanpaul_ai · 2026-10-27
- OpenAI 发布 PDF 声称反驳指数时间假说:3SAT 或可近亚指数求解 — rrwilliams · 2026-10-27
- OpenAI 发布与学术社区共建科学理解的计划 — Chemical-Agency-3997 · 2026-10-27