实测 256 个移动端任务:Haiku 5.5 与 GPT-6 Luna 打平,与榜单相悖
LovesWorkin · reddit · 2026-10-14
Buoy 开发者负责人用自家产品 Ask Buoy 做了第三方实测:Anthropic 官方图表称 Haiku 5.5 在 OSWorld 2.1(桌面电脑使用)上领先 GPT-6 Luna 23.5 分,但在 256 个真实移动端 App 任务(iOS 模拟器、同一订餐测试 App、默认设置、以 App 实际结果计数)上两者基本打平。
- 任务正确率:Haiku 93.8% vs Luna 94.1%
- 首响应:Haiku 1.6s vs Luna 2.9s,Haiku 更快
- 整任务中位耗时:Haiku 20.9s vs Luna 27.9s
- 单任务成本:Luna 约 0.44¢,比 Haiku 0.62¢ 便宜约 29%
- Haiku 在长 bug 描述任务更强(94 vs 88),Luna 在网页调用、数据保存、定位与撤销类任务占优
作者也列出局限:每任务只跑一次、测试由自家编写、两模型测试时间不同、成本按牌价 token 计算。结论:基准榜单与真实工作负载可能严重脱节。
「编程与Agent」频道最新
- 把设计画布交给 Agent:一篇文章讲透 Agentic 设计工作站 — floguo · 2026-10-14
- 开发者实测后感叹：RAG 并没有死 — jakedahn · 2026-10-14
- 多智能体实验:84% 消息仍涌向 lead,worker 互聊几乎为零 — nouhadziri · 2026-10-14
- Sol lead 带 16 个便宜 planner:接近全 Sol 团队成绩,成本省 70% — nouhadziri · 2026-10-14
- 多智能体省钱秘诀：只委托规划阶段，性能持平成本减半 — nouhadziri · 2026-10-14
- 智能体团队最多领先 solo 约 10 个点，但成本高 4–7 倍 — nouhadziri · 2026-10-14