Prime Intellect 驻留研究员连发多个全开源 Agent 评测基准
xeophon · x · 2026-10-30
Prime Intellect 公布其驻留(residency)研究员构建的一批完全开源的评测基准:
- MazeBench:迷宫类任务评测
- PMPP-Hard:高性能并行编程难题
- PretrainGym:预训练相关评测
- OpenTTD-Bench:基于经营模拟游戏 OpenTTD,让前沿 LLM agent 运营相互竞争的运输公司、以利润论高下,测实时长程任务能力
这批基准全部开放,可供社区直接使用和复现。
「编程与Agent」频道最新
- MIT 论文:收件箱机制解决万级 LLM 智能体协调难题 — omarsar0 · 2026-10-30
- 「Claude 跑 smoke test 跑到要得肺癌了」程序员吐槽刷屏 — alec_helbling · 2026-10-30
- Jack&Jill 用 Together 后训练开源模型,离线评测追平闭源模型且成本更低 — togethercompute · 2026-10-30
- 开发者用 Cursor 云端 Agent 配手机脚本,实现躺着派活 — malliktwts · 2026-10-30
- 免费搜索 API 大面积失效,本地 Agent 每千次查询成本成新痛点 — CO_Oked_COO · 2026-10-30
- 把 Codex 装进独立 SSD:I/O 分离后 Windows 和 Codex 都变流畅 — Yamapama · 2026-10-30