五模型实测 Salesforce 任务:Claude Opus 87% 夺冠

开发者在模拟公司 Salesforce 环境中对 Claude Opus、Sonnet、Haiku、GPT-6.1 Sol 和 DeepSeek 五个模型进行 agent 评测,各完成 50 项任务、可调用 8 个工具,按数据库实际改动而非模型回复评分。结果显示 Claude Opus 以 87% 通过率居首,DeepSeek 以约 1/75 的成本取得 82%,GPT-6.1 为 72%。评测还发现静默失败问题能骗过所有 agent,暴露出当前模型在真实业务场景中的可靠性短板。

2026-10-28 ~ 2026-10-28 · 3 条相关