Deepnote 发布 Agent Initiative 基准,12 个前沿模型同台实测
alex_verem · x · 2026-11-13
Deepnote Research 发布 Agent Initiative Benchmark,测试模型在无需被提示的情况下主动提供帮助的能力:在一家虚构公司 PageMantle 的完整工具环境(CRM、产品分析、计费、仓库、issue 追踪、文档等)中,对 12 个前沿模型跑 50 个真实职场场景。
主要结果(0-10 分)
- GPT-6 Astra:8.97(每任务 $0.693,响应 54 秒,19.3 次工具调用)
- GPT-6.1 Sol:8.65,每任务仅 $0.11,性价比突出
- Claude Fable 5.2:8.65;Claude Opus 5.5:8.17
- DeepSeek V4.1 Flash 6.38、Mistral Large 4 6.09、Gemini 4 Argon 5.60、Grok 4.7 4.51 垫底
结论:OpenAI 在价值与综合表现上领先,Anthropic 在速度上占优。注意:帖中出现的模型名称未经官方证实,请谨慎对待。
所属事件:Deepnote发布Agent Initiative基准:0.11美元模型胜最贵模型(3 条相关)→
「模型」频道最新
- 评论:模型榜首将频繁轮换,Gemini 回归加入 Claude/GPT 之争 — roydanroy · 2026-11-14
- Polymarket 开盘押注 Anthropic 实验室泄露,2027 年中前概率仅 7% — Polymarket · 2026-11-14
- Ai2 发布 XYBench 获 EMNLP 最佳资源奖,测 LLM 识破 XY 问题 — allen_ai · 2026-11-14
- GPT-6 主动给意识研究者发邮件提问,却记不住论文里已有的答案 — erikphoel · 2026-11-14
- Edge0-145B 冲上 Hugging Face 热榜:145B MoE 架构主打端侧推理 — Edge0 · 2026-11-14
- Drex Max v1.1 登顶 Artificial Analysis 决策指数,价格仅为第二名七成五 — JaynitMakwana · 2026-11-14