Burkov 批评 Jev：LLM 概率校准在开放问题上无解
burkov · x · 2026-09-23
机器学习领域知名作者 Andriy Burkov 就 Jev 模型发帖提出两点技术质疑：
- 校准不等于真实概率：可以用强化学习微调 LLM，把 softmax 概率与训练数据中的"真实"概率之差作为奖励（即所谓"校准"），但 LLM 依然学不会对任意用户问题输出真实概率——因为不可能为所有可能的问题都准备真实概率。用户的问题可能涉及"这是民用还是军用目标""该买还是卖这只股票"甚至"今天先穿左脚袜子还是右脚"。
- 速度-质量不可兼得：LLM 输出首 token 前的等待时间相当于其做决策所耗费的算力。如果 Jev 输出全部结果的时间比同等规模 LLM 输出首 token 还快，那它在质量上必然已经落后。
结论是这类宣称又快又好的小型决策模型，其优势本质上来自牺牲了对开放问题的概率可靠性。
所属事件:Burkov 锐评神秘项目 Jev：速度宣传疑似 BS(5 条相关)→
「模型」频道最新
- Claude 疑似真能「听」视频发音，创作者实测发现反常识能力 — RileyRalmuto · 2026-11-12
- 资深研究者抱怨 Claude 安全拦截过严:基础生化工作也触发回退 — rbhar90 · 2026-11-12
- Hugging Face 三大消融团队放量大批 Qwen 无审查模型,按显存对号入座 — udmrzn · 2026-11-12
- Reddit 用户爆料：Qwen 4 Max 输出介于 Kimi 3.1 Pro 与 DeepSeek 之间 — power97992 · 2026-11-12
- a16z 合伙人 Casado 力挺:谷歌 Carbon 写代码「真的很强」 — xennygrimmato_ · 2026-11-12
- OpenRouter 上线 Extractions API:描述字段即从文本/图片/PDF 抽取结构化 JSON — michellechen · 2026-11-12