Sentry 创始人吐槽 eval 成本:跑一次 metaloop 一小时烧 200 美元
zeeg · x · 2026-09-10
David Cramer(zeeg)继续讨论 LLM eval 成本:他两周前跑了一个 metaloop,一小时内烧掉 200 美元;对方称自己 4 个很小的 eval 一轮就花了 150 美元,担心 eval 数量到 100 个、评分更复杂、模型更贵时成本会失控。展示了 agent eval 迭代成本随规模爆炸的现实。
所属事件:Sentry 创始人分享 LLM eval 经验：断言尽量确定性(3 条相关)→
「编程与Agent」频道最新
- MCP 新工具 oracle-h:Agent 关键操作前强制人类 Telegram 审批 — modelcontextprotocol · 2026-09-10
- Codex 固定会话太多?手动拖入项目分组即可收纳 — vwxyzjn · 2026-09-10
- 模型跑偏就用 /goal:astra 编码助手的一个纠偏小技巧 — TheMoonMidas · 2026-09-10
- 图解缓冲区溢出如何覆盖 C 与 x86-64 的返回地址 — tetsuoai · 2026-09-10
- niji→GPT Image→MiniMax H3→Codex，打造像素完美动画全流程 — Hailuo_AI · 2026-09-10
- 开发者发布 Traser：自动定位「跑成功但结果错误」的 agent 运行 — Sensitive-Parsnip-12 · 2026-09-10