Together AI 自建 agent 评测,任务成功率从 67% 提到 96%

nutlope · x · 2026-11-17

Together AI CEO Nutlop 发布长文,详解如何通过自建 agent 评测把平台对编码 agent 的友好度大幅提升:- 背景:越来越多开发者用编码 agent(如 Claude Code 等)直接对接 Together 的 SDK/CLI 搭建生产推理,但公司不清楚 agent 是否被平台文档和流程卡住、走弯路、浪费 token。- 做法:为 agent 任务构建系统化 eval,对比 baseline、MCP 接入、Skills 三种方案在十余个任务(聊天应用、批处理、工具调用、GPU 集群、冷启动、自动扩缩容等)上的通过率;每种模型/方案跑两次,不完整运行计为失败。- 结果:baseline 82% → MCP 96% → Skills 97%;统一后的 Skills 版本通过率 97.2%、不完整率从 9.7% 降到 2.8%、平均端到端耗时从 11.6 分钟降到 9.3 分钟、单次成本 $0.433。GPU 集群任务从 baseline 0% 提升到 100%。文章完整公开了 eval 构建方法和迭代过程,可直接照搬用于优化自己产品的 agent 体验。

所属事件:Together AI 公开 agent 评测方法,任务完成率大幅提升(3 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →