Sentry 创始人谈 eval 成本:断言尽量确定性,LLM 判官太贵
zeeg · x · 2026-09-10
Sentry 创始人 David Cramer(zeeg)在与开发者的讨论中分享 LLM eval 工程的成本细节:他的断言大多用确定性检查,rubric 用得极少,只在少数几个非确定性断言里跑 agent。对方吐槽自己用 LLM as judge,跨 3 个 eval 测 10 个模型就非常烧钱,质疑成本会随模型升级持续膨胀。对话揭示了 agent eval 迭代成本高企的行业现状。
所属事件:Sentry 创始人分享 LLM eval 经验：断言尽量确定性(3 条相关)→
「编程与Agent」频道最新
- 零基础学员经 AI 辅导也能跑通完整 CI/CD 流水线 — curious_vii · 2026-10-26
- Ruff 作者感叹:前沿模型能在任何软件里找到无穷多 bug — charliermarsh · 2026-10-26
- 开发者实测同一 skill 跨 Opus 5.5 与 Sol 6.1:指令遵循表现参差 — lucasmeijer · 2026-10-26
- 用小开源模型逆向工程游戏二进制:主 agent 中途重写子 agent 的 harness — yb2698 · 2026-10-26
- ContractSim：首个评估 LLM 自然语言合同谈判的框架 — xuanalogue · 2026-10-26
- Hugging Face 线下研讨会：微软、Mercor 等四方实战分享 Agent 后训练方法 — Hugging Face · 2026-10-26