Together AI 自建 agent 评测,任务成功率从 67% 提到 96%
nutlope · x · 2026-11-17
Together AI CEO Nutlop 发布长文,详解如何通过自建 agent 评测把平台对编码 agent 的友好度大幅提升:- 背景:越来越多开发者用编码 agent(如 Claude Code 等)直接对接 Together 的 SDK/CLI 搭建生产推理,但公司不清楚 agent 是否被平台文档和流程卡住、走弯路、浪费 token。- 做法:为 agent 任务构建系统化 eval,对比 baseline、MCP 接入、Skills 三种方案在十余个任务(聊天应用、批处理、工具调用、GPU 集群、冷启动、自动扩缩容等)上的通过率;每种模型/方案跑两次,不完整运行计为失败。- 结果:baseline 82% → MCP 96% → Skills 97%;统一后的 Skills 版本通过率 97.2%、不完整率从 9.7% 降到 2.8%、平均端到端耗时从 11.6 分钟降到 9.3 分钟、单次成本 $0.433。GPU 集群任务从 baseline 0% 提升到 100%。文章完整公开了 eval 构建方法和迭代过程,可直接照搬用于优化自己产品的 agent 体验。
所属事件:Together AI 公开 agent 评测方法,任务完成率大幅提升(3 条相关)→
「编程与Agent」频道最新
- EMBRACE 研究攻破五大 AI 助手内嵌浏览器,Codex 与 VS Code 仍未修复 — cyb3rops · 2026-11-17
- OpenCode Browse 用 Rust 重写:内存降 25 倍并直接接入 agent — gaganghotra_ · 2026-11-17
- Together 曝 agent 评测法:任务完成率从 67% 提升至 96% — togethercompute · 2026-11-17
- 用 Codex 和 Claude MCP 驱动 DaVinci Resolve,开发者称体验极佳 — _AustinCalvert_ · 2026-11-17
- Beaker:别凭感觉选 Agent 模型,用实验数据说话 — VictorSanh · 2026-11-17
- VapiCon 2026 观察:语音 AI 主战场仍是电话,Sims 和 Evals 成标配 — chadwallacehart · 2026-11-17