首个端到端自动科研开源基准发布,8 个模型花费 7400 美元评测
BenBlaiszik · x · 2026-11-21
alphaxiv 团队发布 OpenResearch Intelligence Index,号称首个针对端到端自动科研(autoresearch)的开源 benchmark,结果已上线。核心问题:哪些模型最适合 RSI?能否理解文献?能否在保持品味的同时完成复杂科学实验?
评测共花费约 7400 美元 token 费用,覆盖 8 个模型、6 家供应商、3 条评测轨道:
- 科学知识:20 个精选 Terminal-Bench-Science 任务
- 后训练能力:6 个新的 post-training 任务
- 文献相关性与品味:PaperFindingBench 的一个子集
每个模型在其原生 harness 中于 OpenResearch 环境内运行。索引目前包含 Opus 5 等模型。
所属事件:alphaXiv 联合 Together AI 发布首个自动科研开源基准(2 条相关)→
「编程与Agent」频道最新
- 用 Grok Bot 搭一键动效师:从想法到带音乐动画视频全流程 — nima_owji · 2026-11-21
- 21 个 GitHub 仓库藏假字体恶意载荷:VS Code 自动任务触发窃密 — JeremyCMorgan · 2026-11-21
- Hugging Face 推出 harness adapters,TB-2.1 提升 3-5.7 个百分点 — yb2698 · 2026-11-21
- 日本医疗系统 Tech Lead:AI 写码时代代码设计反而更重要 — 4310sy · 2026-11-21
- 谷歌开源 stitch-skills:16 个 Skill 让 AI 编程工具画出好看的界面 — lxfater · 2026-11-21
- Yoav Goldberg:模型可内化部分 harness 能力,使其从必需降为可选 — yoavgo · 2026-11-21