42 名物理学家参评,FrontierPhysics 基准瞄准端到端科研 agent
HanchungLee · x · 2026-11-06
BenchFlow 团队(xdotli,核心成员来自 Berkeley、Caltech、Harvard 物理实验室)发布 FrontierPhysics 基准,评估 agent 的端到端物理科研能力。
- 招募了来自 26 家机构的 42 名物理学家参与出题/评分,其中 28 人曾在 Nature、Nature Physics、PRX、PRA 等期刊发文
- 评估重点为科学领域的长程 agent 任务
- 评分设计捕捉物理学家看重的细微判断,而非简单对错
- Artificial Analysis 将合作在其平台上托管该评测
这是把 agent 评测从编码/通用任务推向真实科研工作流的一个新基准。
所属事件:FrontierPhysics 基准发布：42 位物理学家出题测 AI(4 条相关)→
「模型」频道最新
- Miles Brundage 一句话点评:Inkling 2 Small 不错 — Miles_Brundage · 2026-11-06
- 用户观察：Claude 用官方 system prompt 反而不如空 system prompt — repligate · 2026-11-06
- Palisade 研究员:模型样样变强但仍不幽默,charisma 成短板 — JeffLadish · 2026-11-06
- Palisade 研究员呼吁复活 METR 时间跨度图：别只盯 40 个 benchmark — JeffLadish · 2026-11-06
- 爆料 DM 称 Qwen4 将发布,leaker 戏谑时间点全靠猜 — bclavie · 2026-11-06
- Artificial Analysis 端点准确度指数 v1.1：近1/4推理端点低于参考基准 — ArtificialAnlys · 2026-11-06