从业者断言：好评测的保质期只有三个月
pvncher · x · 2026-09-23
从业者 pvncher 认为，一个高质量 eval 的保质期大约只有 3 个月，最多 6 个月。如果一个 eval 已经跑过半年还没更新，再用它来判断模型好坏，其信号质量可能还不如随便找个人问问看法——言下之意是评测集会随模型迭代和过拟合迅速失效，评测需要持续更新。
「编程与Agent」频道最新
- Jev 能为图形模型写规范?概率推理范式或迎新组合 — blaizedsouza · 2026-09-23
- Jev 定位讲解：规则代码与 LLM 之间的语义决策层 — blaizedsouza · 2026-09-23
- 用 Claude 形式化验证 Agent SDK：几条 prompt 产出 16 个修 bug PR — shyamalanadkat · 2026-09-23
- 从 0 到 1 用 AI 做产品 Launch Video,附保姆级教程与提示词 — Aiden_Tech_Ai · 2026-09-23
- 19 岁学生用 Claude Code 两天写出套利机器人,自称已赚 75 万美元 — Aiden_Tech_Ai · 2026-09-23
- 开发者空中远程派活:Codex Remote 随时下发任务让他连连惊叹 — Dimillian · 2026-09-23