花 5 美元做评测换模型,AI 账单砍掉 74% 且效果更好
MicahBerkley · x · 2026-10-29
作者 built 了一个会议纪要 agent:录制每通客户电话,由模型提取所有承诺/任务/客户请求并自动生成 Asana 工单,团队没人再手动记笔记,每月处理约 2,156 通。
关键做法是每 1-2 个月对模型跑一次盲测 eval,同批通话、同样指令换新模型,只看两个问题:输出更好吗?更便宜吗?本周结果:
- 读通话:Claude Haiku 5.5 抓到 92 个承诺中的 83 个(90%),Gemini 3.8 Flash 只抓到 52 个(57%);逐字引用率 98% vs 75%;单通成本 $0.0095 vs $0.037
- 写工单:盲测 30 张工单,评审偏好 24:6;提示词重写后编造细节从 81 降到 14;单张成本 $0.0010 vs $0.0075
结论:别信任几个月前选定的模型,持续测试它。总花费仅 5 美元就把最大的一笔 AI 账单砍了 74%。
「编程与Agent」频道最新
- 开发者晒 agent 零干预自主合并代码：AI 智能体真香时刻 — iamsahaj_xyz · 2026-10-29
- 用 Claude 把旧小米手机改造成纯离线 MP3 播放器 — PeanutGrinderZ_2091 · 2026-10-29
- 群友用 Workbuddy 做出月利润 1000 美元，独立自动化副业实录 — gefei55 · 2026-10-29
- 10 个开源仓库给编码 Agent 画代码地图:知识图谱+语义搜索 — victor_explore · 2026-10-29
- Snaptrude 发布建筑设计 Agent:可从地块做到施工级 LOD 400 模型 — EXM7777 · 2026-10-29
- DecisionRAG 用决策模型替代检索器，超越 8B reranker 13.8 个点 — omarsar0 · 2026-10-29