SemiAnalysis 发 GDPx 基准:最强模型专家任务得分仅 12%
rohanpaul_ai · x · 2026-11-02
SemiAnalysis 发布 GDPx 基准,测试 AI agent 在芯片设计、网络安全、金融、法律等 11 个高价值领域的专家级工作。要点:
- Claude Opus 5.5 以 12% 居首,Gemini 4 Carbon 10.9% 次之;GPT-6 Astra 在 AI 研究与材料科学任务上居首。
- 任务来自 14 家专业数据合作方;与 OpenAI GDPval 把上下文直接放进 prompt 不同,GDPx 要求 agent 自行翻检真实工作区(如 3983 个文件的真实并购案复刻)。
- 排除网络安全、生物与对齐三类(安全分类器会介入),GPT-6 Astra 从 9.6% 升至 11.8%,反超 Opus。
- 金融与法律团灭所有模型:pass/fail 评分下全部为 0,只能改用部分给分。
- 让模型改进一个本可用的交易策略,111 次尝试中 70 次结果更差,多是加大风险而非找到更好交易。
所属事件:SemiAnalysis 发布 GDPx 前沿基准:最强模型仅得 12%(10 条相关)→
「模型」频道最新
- Fable 5.5 纯代码生成 66 秒动画短片,无任何图像模型 — oran_ge · 2026-11-02
- 商汤开源 SenseNova-Loop-9B:权重共享跑 56 层,支持 256K 上下文 — AdinaYakup · 2026-11-02
- 用户实测:Gemini 3 Pro 长篇同人写作强,单篇可达 29 分钟阅读量 — Ok-Jello3739 · 2026-11-02
- Sam Altman 称 token 是「假单位」:计数不代表商业价值 — rohanpaul_ai · 2026-11-02
- 同一个任务两种「质感」:RL 过拟合模型与通用智能的手感差异 — theteknosaur · 2026-11-02
- LightOnOCR-3 发布:单一模型搞定转录、版面与图表解析 — IgorCarron · 2026-11-02