Cortex 在 τ³-bench 银行任务达 73.2%,大幅领先前沿模型
multiply_matrix · x · 2026-11-06
隐形创业公司 Principled Machines 公布早期结果:其产品 Cortex 在 Sierra Research 的 τ³-bench 银行场景通过率 73.2%(Sierra 验证),远超已发表的最佳模型 Qwen 3.8 Max 的 55.2%;Claude Opus 5 为 48.7%、Grok 4.5 为 47.9%、GPT-5.6-sol 为 46.9%。
- 核心思路:不做与 LLM 对抗的通用模型,而是构建 LLM 的「算法补充」,填补模型不擅长的部分;无需任务特定微调或改 prompt。
- 为什么难:Sierra 自己的论文显示,即使 agent 检索到了任务所需的全部文档,平均通过率也只有 39.69%——「找到文档」只是问题的一半,Cortex 解决的是另一半(在拿到信息后正确执行政策与对话)。
- 商业化:Cortex 处于 early access,将以 OpenAI 兼容的模型 API 形式提供,可能允许配置底层 LLM 与决策模型。
「公司和人」频道最新
- 旧金山系统读书会 15 期后定名 SFSRG,每月在 Greylock 办公室开讲 — _shreya_s · 2026-11-06
- 投资人可坦然认赔，创始人为何必须隐藏恐惧？ — katieruthmishra · 2026-11-06
- Lambda CEO 力挺 neocloud：算力需求将继续指数级增长 — gharik · 2026-11-06
- AI 审计初创 Parallax 创始团队首次集结，聚焦白盒信念审计 — gsarti_ · 2026-11-06
- OpenAI 定档 11 月 12 日「Cyber Day」,将有多项网络安全发布 — gdb · 2026-11-06
- Anthropic 首次付费签内容授权：与美联社达成选举数据合作 — ScottNover · 2026-11-06