用重复运行和Judge稳住LLM评测
mattjcoles · reddit · 2026-07-14
这篇文章讨论了如何更稳地测试 LLM 输出。作者指出，即使温度设为 0，不同运行也可能给出不同答案，因为推理栈并不是 batch-invariant，且在托管 API 上你也无法控制 batch size。
他的做法是：
- 不用单次结果，而是多次重复运行，统计通过率
- 用 structured outputs 降低格式漂移
- 对其余部分使用经过校准的 judge 做评估
重点是把“看起来对”的一次性演示，变成更接近真实稳定性的测试流程。
「编程与Agent」频道最新
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用 prompt 造硬件:一次对话让智能体组装定制设备寄到家 — paraschopra · 2026-09-11
- 模型之外才是关键:一文拆解 RAG 到多智能体的六大 AI 架构 — goyalshaliniuk · 2026-09-11
- 零基础开发者自建分层记忆架构，仅 20k token 记住一年对话 — matteoianni · 2026-09-11