浙大发布 TwinLab-Bench:真实实验室镜像中评测 AI 科学家,最强模型仅得 45 分
zju-community · hf · 2026-11-20
浙江大学团队发布 TwinLab-Bench,在 52 个来自物理、生命科学与工程真实实验室的任务中评测 AI 科学家设计自主实验的能力,支持 100 多种实验动作类型,agent 报告与真实实验记录中的隐藏答案对比评分。
- 每个任务配有 TwinLab agent 作为环境,读取实验室原始材料、调用由记录构建的计算器来执行被测 agent 自设计的实验,几乎消除偏离真实记录的读数与重复请求的不一致回答,并用闭卷探针控制记忆召回
- 前沿模型表现仍很弱:最强的 Claude Fable 5.2 平均仅得 45.0 分,作者对其失败模式做了实证分析
「编程与Agent」频道最新
- 两年打造 agent 记忆架构 mnemos,作者投稿 hackathon 却血本无归 — RileyRalmuto · 2026-11-21
- 屏幕录制+语音经 MCP 喂给 Claude,UI 动效迭代提速 — Different_Scholar_74 · 2026-11-21
- 开源 E2E 加密 MCP 服务器:让手机直接与本地 Agent 密聊 — uriwa · 2026-11-21
- 前 GitHub 高管推出 Maven 课程「精英 AI 辅助编程」,限时低价 — intellectronica · 2026-11-21
- 开发者推出托管 WhatsApp MCP 服务,只读模式专防提示注入 — uriwa · 2026-11-21
- 马斯克转发 GPT 工作流技巧:让 Grok 充当审查 bot 监督其他 bot — elonmusk · 2026-11-21