SemiAnalysis 发布 GDPx 基准:最强模型仅得 12%,GPT-6 Pro 挑出评分错误
eldonredwards · x · 2026-11-03
SemiAnalysis 发布前沿级 agent 能力基准 GDPx,衡量最有价值领域中的 agentic 能力,目前最强模型仅得 12%(1/7)。
Ethan Mollick 转发评论称很高兴看到 GDPval 的后继者,但仍需像 GDPval 那样引入人类基线;他提到 GPT-6 Pro 在评分中发现了错误,并认为 0% 的分数掩盖了成功率上具有经济意义的差异。
配图为一篇分析,指出评分器可能存在两类具体问题:一是某次运行中评分器报告 4 项客户调整缺失,但这些内容实际存在于工作簿的支持页签中,可能只是格式合规性差异而非模型理解失败——作者强调基准失败分析应区分「模型没发现/发现但理解错/理解但实现错/实现正确但评分器不认可」四种情况;二是已发布的交易模拟器在建模 IEX 取消延迟时存在明显错误(下单计入 350 微秒延迟、取消却未计入),与 IEX 官方文档冲突,获胜策略的成功可能只是模拟器产物,应修正后重跑。
所属事件:SemiAnalysis 发布 GDPx 基准：最强模型仅得 12%(17 条相关)→
「模型」频道最新
- ML4 开放权重发布：代码 Agent 与网络安全能力达前沿，三周内大幅压缩提效 — _AndrewZhao · 2026-11-03
- OpenRouter 数据:重度用户中位数已用 6 个模型家族,一年翻倍 — sarahookr · 2026-11-03
- 「Killed by Google」悼念 AI Overview，网友调侃其尚未倒闭 — gaganghotra_ · 2026-11-03
- DeepSeek 超级 Agent 引热议：肉身代理时代是否终结 — gdechichi · 2026-11-03
- 实验：仅 3% 人类预测点击胜过 Claude Opus 5.5 — teortaxesTex · 2026-11-03
- Nvidia 发布循环架构模型 Dory1-4B：36 层复用，循环 4 次逼近 9B 模型水平 — scaling01 · 2026-11-03