字节发布EdgeBench:衡量Agent真实环境学习能力
字节跳动Seed · wechat · 2026-07-07
字节跳动Seed团队发布超长程评测集EdgeBench,专门衡量Agent在真实世界环境中持续学习、不断变强的能力。该评测集含134个真实多样的任务,横跨科学、复杂软件工程、白领知识工作、算法优化、前沿数学和数字游戏六大领域;每个任务支持Agent连续工作至少12小时(部分延长实验超72小时),由领域专家结合真实问题迭代,超90%为全新构建。人类专家完成单个任务平均需57.2小时,最高达320小时。
团队基于约38000小时环境交互记录发现:Agent在环境学习中的整体表现遵循一条高精度的log-sigmoid曲线,平均拟合精度R²达0.998,可从图探索理论角度解释;从不同代际前沿模型看,Agent学习速度大致每三个月翻一倍。不同任务的学习路径各异——有的稳步提升,有的前期快速进步后进入平台期,也有的在长时间停滞后才迎来突破。
目前已开源其中51个任务及完整评测框架,供社区研究Agent如何从真实环境学习。项目、论文、代码与数据均已公开。
所属事件:字节发布EdgeBench评测Agent长程迭代能力(4 条相关)→
「编程与Agent」频道最新
- Cursor 发布 Agent SDK:Markdown 写提示词,TypeScript 定义工具 — soleio · 2026-10-27
- 形式化方法黑客松 Vibecheck 满员:在旧金山给真实软件做形式化验证 — spikedoanz · 2026-10-27
- 医疗 AI agent 输出如何验证?开发者征求单元测试与 LLM 评审之外的方案 — Practical_Green5775 · 2026-10-27
- AI 智能体或成运行代码的唯一方式：鲁棒性远超传统方法 — IgorCarron · 2026-10-27
- 让 Hermes Agent 当 QA：浏览器实测揪出 8 个网站问题 — techlatest_net · 2026-10-27
- 开源 FableCut 用远程 MCP 让 AI Agent 直接剪辑浏览器时间线 — FastPresence9799 · 2026-10-27