拿真实创业产品当题库:字节 97 任务 E2E 基准上最强模型也只有三成完成率

StartupBench: Benchmarking General-Purpose Agents on Market-Validated End-to-End Workflows

Liya Zhu, Xin Ma, Tao Liu, Haodong Wang, Ge Zhang, Jingzhe Ding, Qingshui Gu, Yongjie Zhong, Jinxiang Meng, Yuan Gao, Yunqiu Zhou, Hao Zhu, Jifeng He, Yongzhi Liao, Xinyi Zhang, Chaoxin Li, Yi Zhu, Xi Lin, Duju Zeng, Xiang Gao, Wen Zhang, Yunyang Wang, Duo Wang, Huan Zhou, Zuo Wang, Jin Chen, Kaiyuan Zhang, Chuqian Yu, Tianhao Yu, Longxiang Liu, Jianbo Xue, Huimin Che, Jiahao Wang, Yujia Qin, Jiaheng Liu, Shen Yan, Xiaolong Chang, Wenhao Huang

cs.AI

2026-08-18

字节 Seed 联合多所高校发布 StartupBench,从 20 多个市场验证的 AI 创业产品反向提取 97 个端到端工作任务,9 个前沿模型在统一 harness 下平均分最高 73.67,按 90 分及格线算完成率无一超过三分之一。

这篇在解决什么

Agent 基准有个共同软肋:题目是研究者想出来测能力的,不是用户真的花钱让 AI 干的活。GAIA、OSWorld 这些工作推进了真实性,但任务来源仍是研究者视角。后果是榜单分数与「能不能交付用户敢直接用的东西」之间隔着一段没人量过的距离。

这篇的做法是倒过来:先找市面上已经跑通的 AI 创业产品(融资超 100 万美元、有付费或规模用户),访谈 30 多个深度用户,搞清楚真实工作流和交付物长什么样,再让 50 多位领域专家把这些工作流改写成可复现的评测任务。筛选条件里有一条很关键:前沿模型试点跑起来轻松拿高分的任务直接剔除,保证区分度。最终 97 个任务、6 个领域(医疗 21、金融 18、法律 16、商业管理 19、STEM 与计算机 16、教育人文 7),输出物是 DOCX、XLSX、PPTX 这些真实交付格式。

方法

评测设计有三个值得注意的决定:

• 任务三元组:每题 = 自然语言用户请求 + 完整工作区(输入文件、资源)+ 加权评分细则。平均每题 25.3 条细则,分 6 个维度(结构完整性、计算精度、信息整合、领域合规、工程与格式、输出呈现)、3 档重要性(核心/重要/辅助,权重 5/3/1)。
• 逐条独立评审:每条细则开一个独立的 AgentJudge 会话,而不是把整份输出和全部细则塞给一个 judge 一把打完。与专家标注的一致率 92.78%;换成 holistic 一把打,一致率掉到 83%,而且经常输出格式崩坏、平均要跑两轮以上才出有效结果。
• judge 是带工具的 agent:可以翻原始交付文件、看渲染页面图,不是纯文本前向。成功判据是总分 ≥90,不是连续分的排名游戏。

结果

9 个模型(闭源 GPT-5.6-sol、GPT-5.5、Gemini-3.1-Pro、Seed-2.1-Pro、Qwen-3.6-Max;开源 Kimi-K3、Kimi-K2.6、GLM-5.1、DeepSeek-V4-Pro),统一 harness,每模型 3 轮:

几个结构性发现:

• 平均分高、完成率低是普遍形态。所有模型平均分集中在 55 到 75 区间,说明大流程都能推进;但按 90 分及格,无一超过三分之一。卡点从「能不能干大部分活」变成了「能不能稳定交付可直接采用的成品」。
• 领域分化严重。商业管理最容易(全员平均分超 60),金融最难(平均 54.48)。Kimi-K3 与 GPT-5.6-sol 总分几乎打平,但 K3 强在医疗和商业,sol 强在金融、STEM 和教育,没有一个模型全域通吃。
• 模型满足边角要求、丢核心要求。按重要性分层统计,9 个模型里 8 个的满足率从辅助项 68.67% 递减到核心项 63.45%。表面进度被不重要的部分撑起来,决定成败的部分反而漏了。
• 失败归因到三类行为:复杂指令的部分遵从(工作簿看着齐全,公式在但缓存值缺失,重开文件读不出数);自我验证幻觉(把「执行过程顺利」当成「交付物合格」,不去独立核对成品);领域专业度不足(医疗案例里该不间断的氯吡格雷给停了)。连文件格式这种确定性要求都没人满分:56 个有明确格式要求的任务上,合规率 86.3% 到 97.6%。
• 专用 agent 仍显著领先:产生这些题目的创业产品专用 agent 平均 83.50 分、39.18% 完成率;通用 agent 三轮取最优的 oracle 设定也只有 71.75 和 28.06%。差距不能用运气解释。
• 换 harness 影响很小:Nanobot、Hermes、Claude Code 三个框架下模型排序不变,平均分差仅 1.79 点。瓶颈在模型能力,不在框架。

为什么重要

对做 agent 产品的人,这份基准回答了一个商业问题:通用模型今天能替代多少垂直 agent?数据给的答案是「远不能」。专用系统高出 oracle 通用设置 11.75 分,垂直玩家的护城河在数据里是真实的,而且论文把护城河拆解成了可攻关的具体能力清单:复杂指令全程遵从、领域合规、对成品的独立验证。这份清单比总分排名对研发更有用。

对选型的人,90 分及格线这个口径值得借用:连续平均分会让模型显得比实际能干,「能不能一次交付」才是用户视角的及格线。

局限与存疑

• 97 题、6 领域,单题方差大,bootstrap 置信区间不窄;教育人文只有 7 题,该领域结论统计意义有限。
• judge 模型用 GPT-5.5,与被评模型同源的风险(自家人评自家人的偏置)没有专门讨论,只报了与人类专家 92.78% 的整体一致率。
• 任务来自付费创业产品的用户访谈,天然偏向已有成熟 AI 方案的工作流;前沿但尚未产品化的需求(比如多 agent 协作类)覆盖不到。
• 90 分及格线的位置定义偏严,论文没有对这条阈值的敏感性分析(比如 85 或 95 分下结论如何变化)。
• 难度校准用 GPT-5.5、Seed-2.1-Pro、GLM-5.1 试点剔除简单题,这意味着基准是刻意做难的,绝对分数不能直接读成「模型只能干三成的活」,读成「在这批精选任务上的完成率」更准确。

术语

• E2E 工作流:从收到需求到交付最终成品的完整链条,不是中间某一步的能力测试。
• Agent-as-a-Judge:评审本身也是带工具的 agent,能翻文件、核状态,而非单次文本推理。
• rubric:逐条评分细则,每条独立判定满足与否,加权汇总成任务总分。
• GDPval/OSWorld:前代真实任务 agent 基准,分别面向经济价值任务和真实桌面环境。
• oracle 设定:同一模型多次运行取最好成绩的上界估计,用于排除随机波动的解释。

原文与代码

• arXiv 2608.17800v1
• PDF
• Hugging Face

相关论文

• 按线索拆检索再整题重排,GPT-5.5 深研准确率从 83.1% 升至 90.5%
• CoT监控召回95%奖励黑客，写进奖励后模型学会藏意图
• FreeCAD上200道长程CAD任务，最强计算机使用智能体只做成17.5%
• Dreamer 4纯离线拿到钻石,数据量只及VPT百分之一
• 冻结模型扩技能库76到139,设计成功率拉到99.3%
• 按训练问答把知识图谱切开，SPLIT-RAG 多智能体检索 Hit 89.4

全部论文解读