UCL 发布持续学习基准 CLE：最强前沿模型仅通过 47.7% 关卡

UniversityCollegeLondon · hf · 2026-10-27

UCL 团队推出 Continual Learning Exam（CLE），首个大规模衡量 LLM 智能体从经验中持续改进的基准，由 50+ 领域专家构建：120 个人工任务 × 5 级阶梯 = 600 关，覆盖 12 个职业领域、89 种专业角色，需逐级解锁，后期关卡依赖前期积累的经验，由评估智能体按人工 rubric 评分。关键发现：在 17 种 harness-模型配置上，反馈与修订仅带来 5.3 个百分点的中位完成率提升；最佳系统只通过 47.7% 的关卡，仅 23.3% 的任务能通关全部五级——前沿模型从重复职业任务中持续学习的能力仍然有限。数据集也可用于后训练以增强持续学习能力。