不做评测改进就会拟合榜单偏差和噪声
antoine_chaffin · x · 2026-10-26
antoinechaffin 提醒:如果你没有认真检查自己跑的 evaluations 并尝试改进它们,那么很可能你并不是在提升模型,而是在拟合基准的偏差和噪声。这条对做模型训练和刷榜的人都是直接的方法论警示。
「模型」频道最新
- AI 圈吐槽：模型连老旧 PHP 代码的漏洞分析都拒答 — voooooogel · 2026-10-26
- 开发者证实：模型对 Apache 相关漏洞请求直接拒答非个例 — jd_pressman · 2026-10-26
- 开发者晒 10 月 AI 账单：超 5000 美元买了近百亿 tokens — cneuralnetwork · 2026-10-26
- 双卡 Radeon R9700 本地跑 DeepSeek V4.1-Flash:8K 上下文解码 49 tok/s — Longjumping-Elk-7756 · 2026-10-26
- AI 找漏洞高度趋同:php2shell 漏洞被不同团队先后用 GPT 复现 — voooooogel · 2026-10-26
- Vitalik 力挺 Kimi 3.1 主动剔除顶级攻击性网络能力 — JiaweiLiu_ · 2026-10-26