用重复运行和Judge稳住LLM评测
mattjcoles · reddit · 2026-07-14
这篇文章讨论了如何更稳地测试 LLM 输出。作者指出，即使温度设为 0，不同运行也可能给出不同答案，因为推理栈并不是 batch-invariant，且在托管 API 上你也无法控制 batch size。
他的做法是：
- 不用单次结果，而是多次重复运行，统计通过率
- 用 structured outputs 降低格式漂移
- 对其余部分使用经过校准的 judge 做评估
重点是把“看起来对”的一次性演示，变成更接近真实稳定性的测试流程。
「编程与Agent」频道最新
- Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量 — minnesotanlp · 2026-10-27
- 开发者吐槽 Claude 烧 token：同样工作 GPT 省 3 倍用量更便宜 — haider1 · 2026-10-27
- InfoWorld：别把模型当地基，Agent 架构必须做到 48 小时可换模型 — rseroter · 2026-10-27
- 便宜模型跑 Agent 反而更贵：线性往返堆爆上下文窗口 — vasuman · 2026-10-27
- 5 千行 Rust 单二进制看板 Kanzo：给 Claude Code 当任务板 — allmudi · 2026-10-27
- 「人类审批就安全」是幻觉：approval fatigue 与 Agent 风险设计 — Efistoffeles · 2026-10-27