OpenAI 与 Cloudflare 推出决策 API,355 道决策实测不敌 TypeSafe 的 Jev
PawelHuryn · x · 2026-10-08
OpenAI 和 Cloudflare 上线了 decision API:不生成文本,输入选项、返回每个选项的概率。作者用它对比了 TypeSafe 的决策模型 Jev,每个模型跑了 355 个决策任务(文档分 6 类、按规则路由客服消息、Q&A 应用中的用户名审核)。
结果:
- 文档分类与明文规则路由:各家都接近满分(50/50、24/24)。
- 真正差异在「自动决定 vs 转人工」:应用设定置信度前二差距 ≥0.9 才自动决定。43 个有问题的用户名中,自动决定数量——Jev 31、Cloudflare Clef 22、OpenAI 8、Clef-flash 4。
- 没有模型放行坏名字,但 OpenAI 和 Clef-flash 会让人重打「Bo」「Michael Chen」这类正常名字。
- 坑:Clef 在 yes/no 问题上报告的是差距的平方,直接读会导致只自动决定 3 个而不是 22 个——「0.9」各家的口径不一样。
作者最终留在 Jev:成本效益最好、升级人工最少。
所属事件:OpenAI 决策 API 实测不敌 TypeSafe Jev(2 条相关)→
「编程与Agent」频道最新
- OpenAI Dots 上线一周实测:省注意力神器,但权限体验仍糟糕 — danshipper · 2026-10-08
- 给应用加 MCP 服务器，长尾功能一次全解锁 — tristanbob · 2026-10-08
- 教授用 Claude 写的 paperpush 自动填期刊投稿表，从此告别表单地狱 — lpachter · 2026-10-08
- 「LGTM（也许不是）」：讽刺视频警示看不懂生产代码的 AI 开发风险 — elie · 2026-10-08
- 差一次工具调用就能发 PR，开发者撞上会话限额 — haydendevs · 2026-10-08
- 开发者用 OpenAI Decisions API 做手势识别,精度与速度双超旧方案 — OpenAIDevs · 2026-10-08