Epoch AI 新评 4 个 benchmark：仅 GraphWalks 通过，OSWorld 2.1 等被判有缺陷
xeophon · x · 2026-10-24
Epoch AI 发布新一轮 benchmark 评审结果：4 个新评审中仅 1 个通过（Verified），3 个被判有缺陷（Flawed），另有 4 个因信息不足无法给出结论。
- Verified：GraphWalks；
- Flawed：OSWorld 2.1、CritPt v1、CMT-Benchmark v1.0.0（其中 CritPt v1 此前评级为信息不足）；
- 信息不足：Remote Labor Index、TasteVal、Chartography、Surface Evolver Bench。
Epoch 表示评审更多 benchmark 的主要瓶颈是评审人力，并在推文中附上了加入评审团队的申请信息。结果以 CC-BY 发布在 epoch.ai。
「研究」频道最新
- 138 页 QFT 与四维流形讲义发布：超对称扭量理论的数学视角 — fkasummer · 2026-10-24
- .alignment.org 评测金丝雀字符串被指更像博尔赫斯式护身符 — tszzl · 2026-10-24
- Victor Taelin:AI 让证明成本骤降,形式化验证正迎来爆发 — pwlot · 2026-10-24
- DeepSeek-AI 携手北大发论文：提出「上下文范式」统一时空可组合性 — akbirthko · 2026-10-24
- SCOPE 论文:把自然语言策略编译成神经符号程序约束编码 Agent — 1982_miguel · 2026-10-24
- Wolfram 提出「Ruliobiology」：用计算规则解释生物形态之美 — pickover · 2026-10-24