alphaXiv 发布首个自动研究开源基准,8 模型耗 7400 美元跑分
togethercompute · x · 2026-11-21
alphaXiv 与 Together AI 联合推出 OpenResearch Intelligence Index,宣称是全球首个针对端到端自动研究(autoresearch)的开源复合基准。
- 背景:OpenAI 的 Navier–Stokes 求解与 DeepMind 的 AlphaProof Nexus 等成果显示自动研究能力正快速演化,但缺乏公开跟踪手段。
- 评测设计:总投入约 7,400 美元 token 费用,覆盖 8 个模型、6 家提供商、3 条评测轨道——科学知识(20 个人工挑选的 Terminal-Bench-Science 任务)、post-training 能力(6 个新任务)、文献品味与相关性(PaperFindingBench 子集);每个模型在其原生 harness 内运行于 OpenResearch 环境中。
- 针对的行业痛点:当前模型「研究品味」不足(难以推荐相关论文、提出正确实验)、研究目标持续漂移难以跟踪、研究 agent 黑盒不可观测。
- 已包含 Opus 5 等模型的结果,指数与基准开源发布。
「模型」频道最新
- 2026 年 AI 冲击纳维-斯托克斯与黎曼猜想,从业者感叹难以置信 — haider1 · 2026-11-21
- 26.4B 小模型 128 天追平 975B 巨兽,算力效率提升约 17 倍 — teortaxesTex · 2026-11-21
- 让 6.2 Astra 用代码画法国旅途风景,考验视觉推理细节功力 — prd_008 · 2026-11-21
- Hyperstition 提出强化学习新 scaling law:judge-time scaling — eliebakouch · 2026-11-21
- Downdetector 报告 OpenAI 下午 3:13 起大规模故障 — VoidStateKate · 2026-11-21
- Inkling 2 Mini 模型页详解:MLX 量化版与一条命令接入编码 Agent — ollama · 2026-11-21