ORO Bench 更新:Agent 在真实商店环境里测任务,新增公开练习世界
shibshib89 · x · 2026-11-04
Crucible 孵化器支持的 agent 评测项目 ORO 发布 10 月 18 日至 11 月 1 日 changelog:
- ORO Bench 现在让 agent 在拥有自家产品、工具和情境的商店中执行任务,采用 pass/fail 任务评分
- 新增公开练习世界,供本地测试,评分方式与验证者一致
- 验证者需 v3.0+,SDK 客户端需 oro-sdk / oro-ai/sdk 7.0.0+
- 更清晰的 episode 反馈与更完整的推理成本报告
定位是用更真实的基准、公开测试环境和清晰的性能反馈,衡量 agent 真实能力。
「编程与Agent」频道最新
- POA 网络遇扩展瓶颈：AI 智能体已在自主讨论并修复问题 — adamamcbride · 2026-11-04
- 新代码成本趋零：单人几天复刻复杂系统，协作动力消失 — alex_frantic · 2026-11-04
- Baseten 工程师:推理不是全部,agent 还需要网关、沙箱与后训练三件套 — AccBalanced · 2026-11-04
- LlamaIndex 推 OpenDocRouter:统一 API 把 PDF 解析成 Markdown — llama_index · 2026-11-04
- Sentry 创始人 David Cramer:多 agent 并行最难的不是模型是上下文管理 — zeeg · 2026-11-04
- 微软 ParetoSaddler：agent 成本降 42%、质量升 6.7 个点的优化法 — omarsar0 · 2026-11-04