vikhyatk:公开的 eval 都是坏的,好评测必须私有
yacineMTB · x · 2026-11-18
开发者 vikhyatk 发表观点:只要评测集是公开的,它就是坏的,所有真正好的 eval 都应该是私有的。
这一说法触及 AI 评测的核心矛盾——公开 benchmark 一旦曝光就会被针对训练或过拟合,逐渐失去区分度;私下保留的评测才能反映真实能力。该观点引发圈内讨论,是评测方法论争论中的典型立场。
「模型」频道最新
- 开发者预言 Opus 5.5 将比肩 Sonnet 3.5 与 GPT-4,但巅峰将逝 — inductionheads · 2026-11-18
- Ming-3.0-audio-flash 以 99.8% 准确率登顶音频推理榜 — alifcoder · 2026-11-18
- 社区笔记称「完整原诗检测 100% 人类」,AI 文本检测再陷争议 — JFPuget · 2026-11-18
- 从 ChatGPT Pro 换到 Claude Ultra,作者作息随额度规则改变 — minhnguyen · 2026-11-18
- Claude 已主导 Anthropic 26% 的模型研发任务,被称「小型 RSI」 — teortaxesTex · 2026-11-18
- OpenAI 发布 GPT-6.2 Astra/Sol:便宜 20%-600%,但评价两极 — Latent Space · 2026-11-18