为验证一个模型实测 16 家：一个任务构不成基准
AlexKim · x · 2026-09-19
作者为判断 TypeSafe 的 Jev 是否值得加入自己的技术栈，实测了 16 个模型，结果 Jev 准确率只排第 10。他分享了写结论的过程：初稿写「Haiku 更准」，这只在一个任务上成立；加测两个任务后结论变成平分秋色——Haiku 在业务类目上以 83.2 比 79.9 领先，Jev 在提交类型上以 50.0 比 42.0 胜出，散文类 66.0 打平。他的教训：一个任务构不成基准，标题要等数据 surv过后才能定。
所属事件:开发者实测16模型校准：Jev又快又诚实但准确率仅第10(8 条相关)→
「编程与Agent」频道最新
- 博主踩坑 NewMax Provider 多层授权：一个 Provider 只挂一套 Key 不够用 — yangyi · 2026-11-04
- 马斯克证实 Grok Bot 成本难以为继，Hermes 一键迁移抢用户 — Teknium · 2026-11-04
- 开源 agent Cindy 发布：跨设备共享任务、文件与模型 — yangyi · 2026-11-04
- 网友用多 Agent 循环工作流筛出 1132 个 B 站神级视频建站 — huangyun_122 · 2026-11-04
- 平面设计师用 Claude Code 两个月做出 NASA 数据驱动的 3D 太阳系 — Shevei1342 · 2026-11-04
- 不写代码：用 Claude 搭出助理、会计等 5 个虚拟员工 — evielync · 2026-11-04