Evals 要看端到端而非局部
yunta_tsai · x · 2026-07-18
作者认为，很多 eval 只是在“隔靴搔痒”式地看问题；如果要真正解决问题，需要 端到端视角，否则容易把不该优化的东西过度优化。
他进一步指出，随着范式变化，eval 的标准也会持续变化；也就是说，评测不是静态模板，而是会跟着问题定义与系统形态一起演进。
「漫话AGI」频道最新
- Karpathy 同仁热议:AI 加持科学的甜点区在科学本身 — soumitrashukla9 · 2026-09-11
- 经济学家拆解 Anthropic 增长模型:能写出 15% GDP 增长,不代表会发生 — sebkrier · 2026-09-11
- Cohere Labs 推出交互工具:测 178 种职业哪些任务会被 AI 自动化 — Cohere_Labs · 2026-09-11
- AI 安全人士上 SkyNews 担忧不平等、滥用与社会激励结构 — schwarzjn_ · 2026-09-11
- 风投人士讽 AI 末日论：与疫情恐慌话术如出一辙 — StewartalsopIII · 2026-09-11
- Anthropic 内部爆料:并非人人都持高 p(doom) 灾难论 — anpaure · 2026-09-11