Perplexity 坦承 decider v1.2 存在回归，用 model souping 缓解并溯源两成因
antoine_chaffin · x · 2026-10-17
antoinechaffin 说明 decider v1.2 的回归问题与数据使用策略。
- 尽管努力做到全面净提升，数百项评测中仍发现少量（不严重的）回归，作者邀请用户报告坏结果
- 溯源显示回归并非来自 Decision Index 数据，而是：①更通用、更长时间的训练使模型偏离原骨干能力；②视觉能力大幅提升带来的副作用
- 两者均通过 model souping（模型汤）缓解
- 为与竞争对手公平比较，谨慎纳入了 DI 基准的官方训练 split：绝不碰测试数据、对所有测试集严格去重，仅在唯一一个训练阶段占 16.6%，其余阶段 0%；最终 checkpoint 是跨全部评测（含多个 held-out）权衡后的 model soup
所属事件:Perplexity 坦承 decider v1.2 回归，详解 DI 训练数据纳入细则(3 条相关)→
「模型」频道最新
- Grok Bots 已上线 Grok 网页与移动端，填补 OpenAI Dots 空白区 — testingcatalog · 2026-10-17
- Meta 新条款被指将获权抓取全网内容训练 AI,引行业炮轰 — VeryWellVersed · 2026-10-17
- 用户抱怨 Codex 远程连接不再显示用量统计，只剩编辑按钮 — No-Butterscotch-218 · 2026-10-17
- 开发者不解:非技术用户为何偏爱 ChatGPT 而非 Claude — prasenx · 2026-10-17
- ChatGPT 近期体验劣化：输入乱码、内嵌图片失效、频繁超时 — ChristianKl · 2026-10-17
- 权重魔改易伤生成类评测，MMLU 却基本无恙 — aryaman2020 · 2026-10-17