Sentry 创始人吐槽 eval 成本:跑一次 metaloop 一小时烧 200 美元
zeeg · x · 2026-09-10
David Cramer(zeeg)继续讨论 LLM eval 成本:他两周前跑了一个 metaloop,一小时内烧掉 200 美元;对方称自己 4 个很小的 eval 一轮就花了 150 美元,担心 eval 数量到 100 个、评分更复杂、模型更贵时成本会失控。展示了 agent eval 迭代成本随规模爆炸的现实。
所属事件:Sentry 创始人分享 LLM eval 经验：断言尽量确定性(3 条相关)→
「编程与Agent」频道最新
- HeyGen 联手 Canva:幻灯片讲者备注自动变数字人讲解视频 — HeyGen · 2026-10-27
- 用 Astra 计算机视觉操控 Premiere Pro 剪辑，10 个实用玩法 — beechinour · 2026-10-27
- 开发者开源一套更好看的 Agent 运行瀑布图追踪 UI — round · 2026-10-27
- Phil Schmid 发布 Gemini API CLI:无状态工具,给现有编码 Agent 补多模态能力 — _philschmid · 2026-10-27
- 马斯克盛赞 Grok Bot:像雇了个超能干的幕僚长 — elonmusk · 2026-10-27
- shadcn 演示用 /improve skill 搭配 Grok 批量处理 issue — shadcn · 2026-10-27