实测:OpenAI Decisions API 比 Jev 贵 2 倍、效果差 5-10%
xeophon · x · 2026-10-07
开发者 hnilforoshan 在服务 250 万用户的产品上,把号称「Jev 杀手」的 OpenAI Decisions API 与 Jev 做了对比 benchmark。
任务是根据用户查询/简历与职位描述的相关性打 1-10 分。结论:OpenAI 贵 2 倍,效果还差 5-10%。
背景:OpenAI 刚向所有开发者开放 Decisions API 公测,称其通过 Responses API 做决策比 GPT-6 Luna 快最多 10 倍。
「编程与Agent」频道最新
- 南洋理工实证:agent 判定检索无用,却几乎不会因此停手 — nanyang-technological-university-singapore · 2026-10-07
- GUI-HARVEST 冻结模型自动优化执行框架,GPT-5 提升 13.87 分 — CUHK-SZ · 2026-10-07
- 基因泰克 AutoSciBench:自动生成基准让 agent 准确率降 25 分 — Genentech · 2026-10-07
- CMU 提出 SSR:把推理改成选择,推理延迟降 90% — CarnegieMellonU · 2026-10-07
- EVISKILL:用可重放证据卡让 LLM agent 技能持续进化 — Yan Zhou · 2026-10-07
- HashiCorp 创始人发布 OSC 7501 终端协议,直击 agent 状态检测乱象 — generativist · 2026-10-07