LiveClawBench评估真实助手任务
jiqizhixin · x · 2026-07-12
来自 Samsung、HKUST、CityU 和 PKU 的研究者提出 **LiveClawBench**，用于评估 AI assistant 在复杂真实任务中的表现。 ### 核心设计 - 采用 **Triple-Axis Complexity Framework** - 用 **full-stack mock apps** 保留有状态交互，尽量贴近真实环境 - 覆盖 **10 个领域、22 个服务**，共 **134** 个案例 ### 结论 作者认为，这个基准比现有 benchmark 更能测试“现实世界里的复杂 assistant 任务”，尤其是多轮、跨服务、需要保持状态的场景。帖子附了论文、GitHub 和报告链接。