75 家企业真实工作基准:GPT-6 与 Claude 排名随任务反转
BorisMPower · x · 2026-10-16
Thrive Holdings 公布首批基于真实业务工作的模型基准测试,数据来自旗下 75+ 家会计与 IT 服务公司,同时衡量准确率、耗时与成本,目标是让开发者了解模型在真实经济工作中的表现。
个税申报(Individual Tax Prep):从客户文档填齐 1040 表所需的字段。
- Claude Opus 5.5(high)准确率 76.3%,每份成本 $5.0、约 6.1 分钟、900 万 tokens
- Claude Fable 5.1(max)75.5%,但成本高达 $16.2、耗时 15.1 分钟
- GPT-6.1 Sol(medium)74.2%,成本仅 $1.4、2.7 分钟,性价比突出
Helpdesk 工单处理:调查请求、执行操作并决定何时需人工审批或转交技师。
- GPT-6 Astra(xhigh)通过率 61.5%,Claude Opus 5.5(max)59.6%,GPT-6 Sol(max)55.8%
关键结论:没有任何模型在所有任务上全面领先,选择模型是「运营决策」,需按任务权衡准确率、时间与成本。测试覆盖 13 个模型与多档推理强度,后续将扩展到更多行业。
「模型」频道最新
- TabPFN 席卷 Kaggle:10 月已占 17% 公开 Notebook — ph_singer · 2026-10-16
- Perplexity 上线 Gemini 4 Argon,称刷新 WANDR 基准纪录 — AravSrinivas · 2026-10-16
- DL 周刊第 477 期:Haiku 5.5、从零造编码 Agent 教程 — dl_weekly · 2026-10-16
- 开发者吐槽现行 DLP 全是正则方案，欲用 LLM NER 重做 — HankYeomans · 2026-10-16
- 爆料称 GLM 5.5 与 Kimi K3.1 即将发布,或与反蒸馏封锁有关 — zephyr_z9 · 2026-10-16
- Google 年付 Gemini AI Plus 用户遭中途降级,11月13日起失去 Pro 模型 — Ray_ProUser · 2026-10-16