创业者回怼 LeCun:自回归模型也能回溯与搜索,未必有根本缺陷

john__allard · x · 2026-11-23

johnallard 回应 Yann LeCun「自回归 LLM 有基本缺陷、需靠回溯/搜索/工具使用来修复」的论断。他承认搜索重要,但不同意「与自回归预测相对立」的说法:模型完全可以在逐 token 生成的框架内,先采样出「等等,这不对」,再换路径继续推理——这是在解空间上语义回溯,同时保持自回归前进;即使不开工具,RLVR 也能奖励这种行为。开工具时,模型采样调用、把结果放回上下文继续生成。他反问:究竟是哪次重大重构让 LM 不再是自回归的?LeCun 在被引推文中曾以 Toolformer(FAIR,2023 年 1 月)为例,坚持自回归 LLM 有基本缺陷、需变得非自回归才能修复。

所属事件:LeCun 重申自回归 LLM 有根本缺陷,遭创业者连环反驳(5 条相关)→

原文链接 →

「漫话AGI」频道最新

更多「漫话AGI」频道 AI 资讯 →