CRUX-in-a-box 开源:数周级 agent 评测的监控基础设施
sayashk · x · 2026-11-06
Sayash Kapoor 发布 CRUX-in-a-box,一套开源基础设施,用于运行和监控长达数周的 agent 评测,源自 CRUX 项目六个月长时程评估的实践积累。
- 在 VM 上连续运行 agent 数周,可重复、安全、全程监控
- 用 LLM 自动标记高风险操作交人工审核
- 可检查工具调用、token 用量与花费,并设置时间和成本预算
- 支持在运行中途与 agent 对话,给出反馈或回答其提问
适合做长时程 agent 实验的评测者使用,代码已在 GitHub 开源。
所属事件:CRUX-in-a-box 开源：支撑数周级长周期 Agent 评测(3 条相关)→
「编程与Agent」频道最新
- 开发者:通过 Slack 指挥软件工厂与云 Agent,几乎不开终端 — vikvang1 · 2026-11-06
- 给智能体配真手机:Glasshand 让 Agent 租用 iPhone 和 Mac — jia_seed · 2026-11-06
- 虚幻6弃用蓝图与C++改押Verse和AI提示,开发者称品味才是难点 — AIandDesign · 2026-11-06
- Exo 论文:让 Agent 在干活时自我改进 harness,成本降 12-82% — sarahcat21 · 2026-11-06
- 研究实测：LLM 发现上下文矛盾 73%，却 0% 主动告知用户 — rseroter · 2026-11-06
- Ampersand 主打人机协作训练，意外成为顶级多智能体编码模型 — niloofar_mire · 2026-11-06