0.11 美元模型胜三款最贵模型:Slack 主动 agent 基准发布
heyshrutimishra · x · 2026-11-13
Deepnote 团队发布 Agent Initiative Benchmark:他们开源了一家虚构公司 PageMantle,内置 6 年的详细历史数据(财务模型、CRM、逾期发票、Linear 工单,以及 SVB 崩盘等真实事件),再通过公司 Slack 测试 12 个前沿模型作为「主动 agent」倾听对话并协助日常工作的表现,共 50 个情境。
结果亮点:OpenAI 最便宜的 GPT-6 Luna(每任务约 $0.007)击败了三款最贵模型;最贵的 Claude Fable 5.1 每任务 $3.02,与最低价差 430 倍,但 10 分制得分仅差 1.1 分。发帖人提醒:50 个任务样本仍偏小,选型前应等待基准扩充。
所属事件:Deepnote发布Agent Initiative基准:0.11美元模型胜最贵模型(3 条相关)→
「模型」频道最新
- 中国团队论文:思维链不是直线,而是分子般的拓扑结构 — mikeflache · 2026-11-14
- 126 万盲投数据:AI 不是变笨了,是用户标准每月提高 1.71 个百分点 — rohanpaul_ai · 2026-11-14
- GitHub PR 泄密:Meta 内部模型 Muse-Spark-1.4 曝光,含真实调用记录 — testingcatalog · 2026-11-14
- MathArena 首现非 OpenAI 榜首:Gemini 4 Carbon 超越 GPT-6.1 Sol — vedantmisra · 2026-11-14
- 46M 参数卢干达语原生模型完成预训练,两轮对话后仍会崩 — weskambale · 2026-11-13
- RWE-Bench 工程能力榜:Fable 5.2 得 62%,超 Opus 5.5 一倍多 — Jsevillamol · 2026-11-13