Burkov 锐评神秘项目 Jev：速度宣传疑似 BS

《百页机器学习书》作者 Andriy Burkov 因多人邮件询问，于 9 月 21 日公开评价神秘项目 Jev，态度直白：「看起来像 BS」。该评价在机器学习圈引发广泛转发与讨论，9 月 23 日他又追加两条技术质疑。

已确认

• Jev 宣称比让 LLM 做同样任务快得多，但其对比基准是常规 LLM，没有与 diffusion LLM 对比；若对象换成 diffusion LLM，速度优势未必存在，甚至 Jev 本身可能就是 diffusion LLM。
• Burkov 认为 Jev 的速度优势可能只在高频交易等极少数场景有意义。
• 9 月 23 日 Burkov 给出两条技术质疑：其一，LLM 输出首 token 前的耗时等价于其决策所花算力，若 Jev 输出全部结果的时间与同规模 LLM 相当，则速度与质量不可兼得，并附上 LLM 等速替代方案；其二，所谓「校准」可用强化学习把 softmax 概率向训练数据中的「真实」概率对齐，但 LLM 的概率校准在开放性问题上无解，校准不等于真实概率。

为什么重要

• Burkov 的质疑指向 AI 产品宣传中的常见套路：挑选有利基准（普通 LLM）而非最强对手（diffusion LLM）来放大速度优势，是评估「更快模型」类声明时值得借鉴的审查框架。
• 「首 token 延时即决策算力」与「校准不等于真实概率」两条论证，为社区讨论速度-质量权衡与概率可靠性提供了可复用的技术视角。

2026-09-21 ~ 2026-09-23 · 5 条相关

• 【源头】Burkov 锐评神秘项目 Jev:号称秒杀 LLM,结论是 BS — burkov · 2026-09-21
• 对 Jev 声称速度优势,学者质疑:对比 LLM 而非扩散 LLM — MaziyarPanahi · 2026-09-21
• Burkov 质疑 Jev:对比基准挑软柿子,优势或只在高频交易 — gethackteam · 2026-09-21
• 【源头】Burkov 剖析 Jev：两条铁律证伪其速度-质量兼得，附 LLM 等速替代方案 — burkov · 2026-09-23
• 【源头】Burkov 批评 Jev：LLM 概率校准在开放问题上无解 — burkov · 2026-09-23