五模型实测 Salesforce 任务:Claude Opus 87% 夺冠
开发者在模拟公司 Salesforce 环境中对 Claude Opus、Sonnet、Haiku、GPT-6.1 Sol 和 DeepSeek 五个模型进行 agent 评测,各完成 50 项任务、可调用 8 个工具,按数据库实际改动而非模型回复评分。结果显示 Claude Opus 以 87% 通过率居首,DeepSeek 以约 1/75 的成本取得 82%,GPT-6.1 为 72%。评测还发现静默失败问题能骗过所有 agent,暴露出当前模型在真实业务场景中的可靠性短板。
2026-10-28 ~ 2026-10-28 · 3 条相关
- 实测 5 模型操作 Salesforce:静默失败骗过所有 agent — TruthDeep8659 · 2026-10-28
- 50 项 Salesforce 任务实测:GPT-6.1 得 72% 落后 Claude Opus 的 87% — TruthDeep8659 · 2026-10-28
- 5 模型 Salesforce 实测:Opus 87% 居首,DeepSeek 以 1/75 成本拿 82% — TruthDeep8659 · 2026-10-28