Perplexity 揭 DI 榜竞争对手在用基准训练集刷分，这次选择跟进以公平对比
antoine_chaffin · x · 2026-10-17
antoinechaffin 谈 decider v1.2 成绩的读法与一个行业现象。
- 上代发布时坚持不纳入任何可能与评测重叠的数据，因此成绩体现的是泛化而非 in-domain 性能
- 随后发现 Decision Index 上一些模型使用了部分 DI 基准的训练集——在特定任务上有明显增益即为信号；这本身不算违规，但削弱了横向可比性
- 为公平比较，本次选择同样纳入这些官方训练 split（谨慎处理）
- 另披露打包一次前向的架构代价：决策质量取决于打包在一起的问题，不同 run 的打包可能带来不稳定性，冲突问题还可能互相干扰
所属事件:Perplexity 坦承 decider v1.2 回归，详解 DI 训练数据纳入细则(3 条相关)→
「模型」频道最新
- Grok Bots 已上线 Grok 网页与移动端，填补 OpenAI Dots 空白区 — testingcatalog · 2026-10-17
- Meta 新条款被指将获权抓取全网内容训练 AI,引行业炮轰 — VeryWellVersed · 2026-10-17
- 用户抱怨 Codex 远程连接不再显示用量统计，只剩编辑按钮 — No-Butterscotch-218 · 2026-10-17
- 开发者不解:非技术用户为何偏爱 ChatGPT 而非 Claude — prasenx · 2026-10-17
- ChatGPT 近期体验劣化：输入乱码、内嵌图片失效、频繁超时 — ChristianKl · 2026-10-17
- 权重魔改易伤生成类评测，MMLU 却基本无恙 — aryaman2020 · 2026-10-17