CritPt 基准纠错后 GPT-5.6 pass@4 冲至 94.4%
bookwormengr · x · 2026-09-15
物理推理基准 CritPt 原始成绩显示顶级模型仅约 9–13% 起步，并随新模型发布在 30–32% 附近趋平。但一项新审计发现 56 道题中有 21 道存在基准错误。修复或剔除这些题目后，GPT-5.6 Sol 在修正版基准上 pass@4 达到 94.4%。虽然设置与官方榜单不可直接比较，但强烈表明物理-数学推理差距被高估了，前沿模型的物理推理能力可能远比原先认为的强。
「模型」频道最新
- Google 开源 EmbeddingGemma 2：手机离线一键跨模态搜照片音频文档 — bigaiguy · 2026-11-02
- 别再按月租智能了:Anthropic 服务端新规再掀开模型之争 — alex_verem · 2026-11-02
- Epoch AI 实验：GLM 5.3 连续攻破 6 个 Firefox 版本，单次成本约 1000 美元 — rohanpaul_ai · 2026-11-02
- SemiAnalysis：安全分类器压分，Opus 5.5 与 GPT-6 Astra 排名被低估 — morqon · 2026-11-02
- 1.7B 本地模型 LFM3 在 MacBook 上首次答对曼城赛程查询 — NielsRogge · 2026-11-02
- Similarweb：Claude 升级页流量 9 月回升至 1760 万，逼近 5 月峰值 — firstadopter · 2026-11-02