Megan Risdal:内部 eval 的爬山装置核心是持续供应全新任务流
MeganRisdal · x · 2026-11-09
Megan Risdal 补充 xeophon 的观点:为防内部 benchmark 被过拟合,爬山评测装置的核心设计就是持续、不断演化的全新任务流——它不是固定题库,因此对 "Goodhart's law" 的解读也要随之调整。这与前文"训练团队不该看到内部 benchmark"构成一套 eval 防泄漏设计。
所属事件:评测专家 Hamel Husain：企业选模型应靠私有评测而非第三方跑分(7 条相关)→
「编程与Agent」频道最新
- 27 粉一人网站单日入账 4800 美元,用 Claude Code 挖出的真实小生意 — FinanceYF5 · 2026-11-09
- 「churn 时代」:不爽就自己用 Claude 造替代品 — joshgonsalves_ · 2026-11-09
- 折腾两周后跑通 AI 生成地图立交管线，错误标记自动浮出 — tomjohndesign · 2026-11-09
- 设计师用 AI 实现狂想，但底层功底反而更重要了 — nptacek · 2026-11-09
- Gemini CLI 修复无头模式中断缺陷:子进程残留与错误退出码 — duvanka-prasad · 2026-11-09
- 博主实测 T3 Code:一个界面统一调度 Claude Code 与 Codex — vista8 · 2026-11-09