SciVeri-Bench 招募各领域科学家,共建开放式科研 Agent 验证评测
AkariAsai · x · 2026-10-15
SciVeri-Bench 是一个评测 AI Agent 在开放式科学任务上科研验证能力的 benchmark,由领域科学家驱动、deploy-first 设计。v0.1 已在 Snorkel AI 主办的 Frontier Data Summit 展示,现正征集各学科科学家贡献任务、共建 v1.0。
- 理念:不再追求刷 benchmark 分数,而是检验 AI Agent 能否像领域科学家那样判断「这项研究做得好不好」
- 端到端科学 Agent 在边界清晰(如优化)任务上已有进展,但开放式研究的质量评估仍是难点
- 团队强调 scientists-in-the-loop:由科学家亲自评估研究质量,面向开放、新颖的科研任务
「漫话AGI」频道最新
- 从业者激辩：认为 AI 有 10% 灭绝风险就不该继续造 — jeremyakahn · 2026-10-15
- AI 成本五年降速超历史任何技术，比电力快 54 倍 — LinusEkenstam · 2026-10-15
- Herbert Simon 40 年前就给出了今天的 AI 使用建议 — msg · 2026-10-15
- AI 名家质疑多智能体类比：千个我造不出烤面包机 — tdietterich · 2026-10-15
- 学者长文评 Anthropic 社会挑战计划：善意与内容生态隐忧并存 — sethlazar · 2026-10-15
- AI 审计先驱 Deb Raji 加盟斯坦福 HAI,研究 AI 伤害归责 — StanfordHAI · 2026-10-15