Perplexity 发布 JOLT:训练 token 只需 GRPO 的 1/6.5
perplexity_ai · x · 2026-10-22
Perplexity 团队推出后训练新方法 JOLT：同一个模型同时扮演老师与学生，老师被训练去给出学生能真正用上的反馈。
核心结果
- 在 MATH 上，JOLT 用 6.5 倍更少的训练 token（1.30M vs 8.40M）达到与 GRPO 相同的准确率（63.44%）。
- 基座为 Qwen3-0.6B，对比方法包括 GRPO、OPSD、π-Distill。
方法机制
- GRPO 这类 RL 方法每次尝试只给一个标量奖励，无法指出哪些步骤起了作用。
- JOLT 让同一模型共享权重地扮演两个角色：老师拿到额外信息（如带验证的解答），学生拿不到；学生生成被用于蒸馏信号，老师生成若与学生预测偏离则受 KL 惩罚，避免老师利用学生够不着的"捷径"。
- 老师还用自己的尝试结果奖励（outcome rewards）训练。
扩展版 JOLT+
- 在数学、编码、工具使用和终端任务共五个基准上全部超过 GRPO：GSM8K +1.5、MATH +4.2、LCBv6 +3.0、AppWorld 高出 9.9 分（72.09% vs 62.20%）。
论文与代码已开源放出。
所属事件:Perplexity 发布 JOLT：训练 token 仅需 GRPO 的 1/6.5(2 条相关)→
「模型」频道最新
- OpenAI GPT 6.1 全系模型将登陆 Google Cloud 与 Antigravity — Ars Technica AI · 2026-10-22
- YC F26 项目 Latent 发布：读模型内部状态，提前拦截幻觉答案 — ycombinator · 2026-10-22
- Recursive AI 发布 40B-A2.5B 小型 MoE 模型 Flint,基准称对标 Qwen3.6-27B — ChengleiSi · 2026-10-22
- DeepSeek 发布 V4.1-Flash-1017：性能成本双优化，登顶开源推理榜 — scaling01 · 2026-10-22
- 修复 PHP 漏洞被 OpenAI 安全限制拦住:能修不能验,用户吐槽 Codex 拦截 — Next_Technology6361 · 2026-10-22
- TPN-006 上架 Hugging Face:7.7GB 压缩版反超 Mistral 原模型 — markjeffrey · 2026-10-22