前 Meta 研究员：内部代码验证集不去污染就报泛化结果不可信
alexpolozov · x · 2026-11-15
alexpolozov 与 DZhang50 等讨论模型评测的可信度问题：仅因代码库是「内部」就当作 held-out 验证集、直接报告 perplexity 作为泛化测试，是不可信的；要做公开可验证又能赢的比较几乎不可能——认真做去污染并公开算法细节会泄露 alpha。这一讨论直指不少模型评测报告的通病。
「模型」频道最新
- 爆料称 GPT-6.2 延期原因不明，OpenAI 内部最强模型与用户可及版本差距拉大 — ChrisGPT · 2026-11-15
- Thinking Machines 新模型 Inkling 2 Small 第三方实测:小体积胜过全量 Inkling 1 — dbreunig · 2026-11-15
- Gemini 4 全程用自研 TPU 训练,Google 成唯一摆脱英伟达的巨头 — gaganghotra_ · 2026-11-15
- EmbeddingGemma 2 登 HuggingFace 热榜第一，非 LLM 模型罕见霸榜一周 — gabriberton · 2026-11-15
- Jason Wei：出一道 TerminalBench 题或将胜过发 Nature 论文 — _jasonwei · 2026-11-15
- Grok 网页版 Imagine 标签被隐藏，符合条件用户才会看到 — nima_owji · 2026-11-15