SWE 新基准用 76 词短 prompt 考真工程决策，远短于同行 291-427 词

echen · x · 2026-10-23

HelloSurgeAI 介绍 sudo L7 基准的设计理念：刻意让 prompt 自然且简短，中位数仅 76 词，对比 DeepSWE、FrontierSWE 和 SWE-Marathon 的 291-427 词。例如一条 L7 级 prompt 只是「修复 threads 页面搜索，dev 模式下崩溃」；而 L3 通常会从 PM 那里拿到 400 词规格说明，L7 收到的是『把它变快』并自己判断何时忽略 PM。配套的 SWE-marathon 示例 prompt 配图展示了完整的 Tabula 电子表格产品规格：REST 契约、公式引擎（支持 Excel-365 语义、LET/LAMBDA、动态数组溢出）、错误哨兵与完整函数目录，说明这些基准要求 agent 处理现实工程中未被明说的决策——哪些数据可缓存、是否该缓存等。