177 个真实案例实测 4 款 LLM:最便宜模型性价比反而最佳
danielbgolan · reddit · 2026-10-24
开发者为 iOS 待办应用构建了 177 个真实任务解析案例的评测集(多语言输入、截图、聊天记录、含 prompt injection 的邮件、「推迟一小时」式编辑、需拆分的任务),通过 OpenRouter 对比 4 款模型,每例跑 3 次自动校验,再用两家不同厂商的 judge 模型盲评打分。
结果(质量=judge 均分,成本/千次,中位耗时)
- GPT-6 Luna:7.73–7.88,174–175/177,$0.23,3.0–3.6s
- DeepSeek V4.1 Flash:7.88,172/177,$1.15
- Claude Haiku 5.5:7.80,173/177,$1.09;high 7.93/$1.45;xhigh 7.93、177/177/$1.91
- GPT-5.4 mini:7.63,172/177,$2.53
要点
- 单次运行间噪音与模型差距同量级(Luna 三次跑出 7.73–7.88)
- 最便宜的 Luna 比 GPT-5.4 mini 便宜约 11 倍,质量还略好
- 高推理档质量提升 7.80→7.93 但等待翻倍,面向用户不划算
- prompt 示例比长度重要:无示例 7.69,半量示例 7.93
- 要把供应商报错计入成本:Haiku 一次跑了 69 个错误,Luna 为零
「模型」频道最新
- Yacine 炮轰「开放权重」是伪概念：权重开放不等于开源 — yacineMTB · 2026-10-25
- 4GB 小模型跑上机器人：Nemotron 3.5 Bolt E4B 在 Jetson 上实测 — lmoroney · 2026-10-25
- NVIDIA 解锁消费卡完整性能，开发者：买卡即得整卡史无前例 — TheZachMueller · 2026-10-25
- AI安全研究所发现 Mythos 5 推理自我偏向：错误论据只服务其行动 — Miles_Brundage · 2026-10-25
- MazeBench 数据：开源模型仍远落后 GPT-6 Astra，宝石收集差 8 倍 — patience_cave · 2026-10-25
- DeepSeek v4.1 Flash 迷宫测试大幅超越上代，逼近 Kimi 3T 模型 — patience_cave · 2026-10-25