Inkling 在 AA-Briefcase 得 836 分,落后顶级开源模型
ArtificialAnlys · x · 2026-07-23
Inkling 在代理式知识工作基准上拿到 836 Elo
Artificial Analysis 发布了新基准 AA-Briefcase,用真实知识工作任务测试模型:输入往往是成千上万份文件,输出要交付表格、演示文稿和 UI 原型等成品。
这次评测里,Thinking Machines Lab 的 Inkling 拿到 836 Elo,在他们的综合榜单上领先 DeepSeek V4 Flash,但落后于更强的开源权重模型如 Nemotron 3 Ultra 和 GLM-5.2。
- Rubric 得分 19.3%,低于 MiMo-V2.5-Pro 的 21.4%,高于 DeepSeek V4 Flash max 的 18.7% 和 Gemini 3.5 Flash-Lite 的 14.8%。
- 呈现质量更强:Presentation Elo 为 863,高于 Analytical Quality 的 764。
- 平均每个任务要用 5.2 万 output tokens,整套测试约 500 万 tokens。
- 平均 81 轮交互,但每轮只有 0.5 次工具调用,说明更像长对话式推进,而不是高频工具编排。
- 在包含非标准 Other 文件类型的任务上表现最差,尽管它支持原生多模态。
所属事件:Inkling 参与 AA-Briefcase 评测,呈现能力优于分析(7 条相关)→
「模型」频道最新
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察:Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发,博主泼冷水:本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级:单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26