AutoResearchExam 开源 agent 研究基准 harness,默认 24 小时时限
AlexGDimakis · x · 2026-09-15
Bespoke Labs 与 UCSD 教授 Alex Dimakis 等团队发布了 AutoResearchExam 的官方 Terminus harness(基于 Harbor),允许研究者用自定义 harness 跑这个 agent 研究基准。设计要点:为 agent 设置一个限时研究窗口(默认预算与 AUARC 视界为 24 小时/86400 秒),单个 agent 会话可在窗口内提交多次实验;每次提交后 agent 能看到公开验证集结果与剩余时间,而私有测试集结果保留在 agent 环境之外以防泄漏。仓库提供了安装说明(uv + Docker,每个 trial 预留约 32GB 空间)、Claude Code/Codex 等自定义 harness 接入指南,以及接受任意 harness 打分时间戳的 AUARC 脚本。
「编程与Agent」频道最新
- 跑一晚上只耗 1% 用量: agent 自动发帖运营 FB 主页实测 — TheMoonMidas · 2026-09-15
- 开源 AgentBridge:用统一 AgentSpec 解锁 agent 框架自由迁移 — 0sparsh2 · 2026-09-15
- 蚂蚁开源 HazardAuditor:为计算机操作 Agent 提供执行级安全监督 — antgroup · 2026-09-15
- 开源 AistyMCP 为 MCP 服务器加细粒度权限，默认全部拒绝 — iamjoehoward · 2026-09-15
- 本地 Qwen 跑编码 agent 频繁跑偏，用户对比后认了 Claude Code — tlpta · 2026-09-15
- Pareta 用小模型路由廉价任务,比 GPT-5.5 便宜约 620 倍 — D33B · 2026-09-15