Perplexity 公布 decider 数据纳入细则：仅官方 split、严格去重、占比 16.6%
antoine_chaffin · x · 2026-10-17
antoinechaffin 详细说明为公平对比而纳入 DI 训练 split 的处理方式。
- 仅使用官方训练 split，绝不碰测试数据；对所有训练集（含官方之外的）针对每个测试集严格去重
- 这些数据只出现在一个特定训练阶段，占该阶段 16.6%，其他阶段为 0%
- 最终 checkpoint 是跨全部评测（含多个 held-out 集）选出最优折中的 model soup，DI 成绩不以牺牲其他评测为代价
所属事件:Perplexity 坦承 decider v1.2 回归，详解 DI 训练数据纳入细则(3 条相关)→
「模型」频道最新
- Grok Bots 已上线 Grok 网页与移动端，填补 OpenAI Dots 空白区 — testingcatalog · 2026-10-17
- Meta 新条款被指将获权抓取全网内容训练 AI,引行业炮轰 — VeryWellVersed · 2026-10-17
- 用户抱怨 Codex 远程连接不再显示用量统计，只剩编辑按钮 — No-Butterscotch-218 · 2026-10-17
- 开发者不解:非技术用户为何偏爱 ChatGPT 而非 Claude — prasenx · 2026-10-17
- ChatGPT 近期体验劣化：输入乱码、内嵌图片失效、频繁超时 — ChristianKl · 2026-10-17
- 权重魔改易伤生成类评测，MMLU 却基本无恙 — aryaman2020 · 2026-10-17