Gemini 4 Hydrogen SWE-sweep 13.5%,约为 GPT-6.1 Terra 的 2.3 倍
ChrisGPT · x · 2026-11-13
ChrisGPT 分享了 Gemini 4 Hydrogen 的评测对比(2026 年 11 月数据):SWE-sweep 上 Hydrogen 得分 13.5%,远高于 GPT-6.1 Terra 的 5.8% 和 Claude Sonnet 5.5 的 3.1%,约为 Terra 的 2.3 倍。
关键数据:
- Hydrogen 在 10 项基准中的 7 项领先,包括 Agents' Last Exam v1.1(71.6%)、AutomationBench-AA(76.1%)、Vending-Bench 2(模拟最终余额 $14,549)、OSWorld-2.1 离线子集(77.6%)、HLE-Diamond(58.8%)
- 但 Sonnet 5.5 在 Terminal-Bench 4.1(63.9% vs 57.0%)、OSWorld-2.1 离线子集(83.9%)和 Terminal-Bench-Science(59.9%)上领先,说明优势在终端任务、电脑操作与科学任务间转移不均
- 作者同时指出评测本身的问题:AutomationBench 的 76.1% 与 Vending-Bench 的 $14,549 只是模拟数字,Epoch 发现 Agents' Last Exam v1.1 公开任务存在严重评分缺陷
所属事件:Gemini 4 Hydrogen 评测曝光:SWE-sweep 13.5% 领跑 GPT-6.1(2 条相关)→
「模型」频道最新
- 曝 Google 新模型 Gemini 4 Hydrogen:多榜登顶,输入定价 $1.5/M tokens(未证实) — heypearlai · 2026-11-13
- Ditto 面向全部用户上线无审查推理服务 — bittingthembits · 2026-11-13
- Google:Hydrogen 扩大 query fan-out 与引用站点范围,SEO 站长盯紧哪些来源浮现 — OnlineInference · 2026-11-13
- 1245 亿参数压进 22GB:Cactus Quants 量化后 MacBook 跑出 47 tok/s — pbaylies · 2026-11-13
- PostTrainBench 榜单:Fable 5.2 与 5.1 持平 44.6%,被指刻意压制 AI 研究能力 — scaling01 · 2026-11-13
- Gemini 4 Hydrogen 上线 Devin,FrontierCode 得分 38.2% 仅次 GPT-6.1 Sol — scaling01 · 2026-11-13