Cortex 在 τ³-bench 银行场景达 73.2%,领先最佳模型 18 个百分点
multiply_matrix · x · 2026-11-10
Principled Machines 宣布其非纯 LLM 系统 Cortex 在 Sierra 的 τ³-bench 银行业务基准上通过率 73.2%,显著超过最强已发布模型 Qwen 3.8 Max 的 55.2%,以及 Claude Opus 5(48.7%)、Grok 4.5(47.9%)、GPT-5.6-sol(46.9%)等前沿模型,且未做任务专属微调或改 prompt。
关键论点:找到文档只是问题的一半
- Sierra 自己的论文显示:即使给 agent 提供任务所需的全部文档,平均也只通过 39.69%(四次尝试全过仅 26.80%)——拥有信息不等于正确执行。
- Cortex 定位为「LLM 的算法补充」:不与模型擅长之处竞争,而是补齐其余部分,涉及超越纯语言 agent 的决策模型。
- 作者刻意描述了他们「没有做什么」,原文有失败案例分析。
Cortex 处于 early access,将通过 OpenAI 兼容 API 提供,允许配置底层 LLM 与决策模型。
「编程与Agent」频道最新
- Text2Cypher 可靠性新解：置信度解码与语法过滤实战 — JeremyCMorgan · 2026-11-10
- MCP 服务器越堆越多，agent 反而变差？用户实测困惑 — Glittering-Bus-8500 · 2026-11-10
- AI 生成第一人称射击游戏接近 COD 画质，博主称一年内可做出海盗船 — ChrisGPT · 2026-11-10
- 新模型一发，技术债一次还清：AI 时代的技术债妙喻 — doodlestein · 2026-11-10
- Claude 把《时之笛》柯柯里森林搬进 Valheim,Mod 免费开源 — Any-Explanation3814 · 2026-11-10
- App Store Connect CLI 6.5 发布：新增订阅挽留消息与优惠管理 — rudrank · 2026-11-10