单次跑通不算数:变量型 Agent 的发布信号要看重复评测分布
MiserableFlatworm337 · reddit · 2026-10-26
作者指出:如果相同输入有时产生不同结果,只报告最佳运行会掩盖问题。正确做法是在记录好的设置下重复同样的案例,检查判定结果的分布,尤其是后果严重的案例。
- 尝试次数要可见,包括失败和超时;四次通过一次失败的案例不应简单描述为「通过」
- 重复评测也不能证明未来生产输入会有相同表现
作者正在开发 skillEd 支持重复评测运行,这篇帖子讨论的是如何解读重复评测结果,而非提出新 benchmark。核心问题:如何在审查 skill 修改时区分 flaky 案例和真实改进。
「编程与Agent」频道最新
- 开源天空相机让 Claude Code 自主值守：一夜抓 17 颗流星并自动筛完 — Terrible_Award_2124 · 2026-10-26
- 用 AI 写 6000 个黑盒测试复刻 OpenSearch：Rust 版已过 64.5% 测试 — Strong-Mousse-1020 · 2026-10-26
- 全本地开源模型做出 10 分钟动画剧集，单集仅需约 4 GPU 小时 — Zangetsu__0 · 2026-10-26
- 即便开启 Daybreak，模型请求漏洞分析仍被网络安全风控拦截 — jd_pressman · 2026-10-26
- Bambi 线性建模库悄然支持非线性模型,作者发文详解用法 — twiecki · 2026-10-26
- 开发者用 Claude 编排 Agent 五天，作曲并渲染 3D 钢琴家日落湖畔演奏 — 141_1337 · 2026-10-26