Surge AI 新基准 sudo L7:最小 Claude 工程判断力胜过最大 GPT
echen · x · 2026-11-17
Surge AI 发布 staff 级工程行为编码基准 sudo L7,评测五个前沿模型(均开最大推理力度),结果所有 Claude 模型得分都超过最强 GPT,连 Haiku 5.5 都击败 GPT-6.1 Astra 和 Sol。核心案例:在真实 B2B 代码库中把为某客户新上线的功能推广到第二个客户——GPT-6.1 Sol 直接复制现有实现并报告可部署;Claude Haiku 5.5 则发现原实现是为一号客户定制的 MVP,照搬会把一号客户的敏感信息暴露给二号客户。作者 echen 的观点:多数编码基准只测「能否通过单元测试」,而 jeff dean 级工程师的价值在于指出需求本身的愚蠢、帮助权衡架构取舍、判断是否值得系统重构——sudo L7 测的正是这种判断力。前沿正在从「写对代码」转向「理解用户真正需要什么」。
「编程与Agent」频道最新
- 博主实测 Gemini 4 Carbon:慢但能读懂代码与科学文献 — iskander · 2026-11-17
- 临床基因组 Agent 首篇同行评审论文:破解两例致命肺毛细血管发育不良 — danielmckinn0n · 2026-11-17
- 清华 ActionOPD 蒸馏让 Qwen3-4B 智能体 τ²-bench 成功率 29.2%→40% — jiqizhixin · 2026-11-17
- Anthropic 日均代码合并量 4 个月增 12 倍至 3 万次 — Dr_Singularity · 2026-11-17
- 开发者:看板不适合 AI Agent,实时追踪才是正解 — kevinkern · 2026-11-17
- AI 软件工厂实践:验证基础设施比 prompt 和模型选择更重要 — vikvang1 · 2026-11-17