各家实验室用开源基准评测自家模型，被批等于在训练集上考试
fraserpricee · x · 2026-10-18
开发者 @fraserpricee 批评各家 AI 实验室持续用公开开源基准（或已泄露/存疑的闭源内部基准）来评测自家 LLM，认为这无异于「在训练集上考试」。此帖引发了与 @evijit 的后续争论：evijit 反驳称开源基准并非坏主意，应把污染检测当作技术问题去解决；并质疑第三方研究者如何衡量评测质量、算力由谁买单、资源不足的小型开源实验室和社区开发者怎么办。
「模型」频道最新
- OpenAI 额度机制遭吐槽：剩 13% 用量时拒绝手动重置 — AccomplishedSugar490 · 2026-10-23
- 816B Meta 新模型 39 分反输 180B Qwen：开源模型得分/规模图 — BTA_Labs · 2026-10-23
- 文档太大就不干活？Gemini 在 Google Docs 里拒生图 — viksit · 2026-10-23
- 程序员吐槽：人生真正使命是安利大家试试最新 DeepSeek — intellectronica · 2026-10-23
- SubQ Snap 1.1 登顶决策模型指数，384K 上下文与低幻觉率取胜 — ArtificialAnlys · 2026-10-23
- PolyAI 推 Dialog-RSN-1 语音模型：单 pass 直听音频，响应快于 300ms — matthen2 · 2026-10-23