追踪模型内部隐空间轨迹,可免训练预测推理答案正确性

burkov · x · 2026-11-08

Andriy Burkov 介绍了一篇关于推理模型推理效率的文章。推理模型靠生成长链思维获得高性能,但计算开销大,且常陷入无效的过度思考路径。主流可靠性方案(多数投票聚合或独立验证模型)会让算力成本线性甚至更糟地增长,而置信度、回答长度等启发式指标又无法可靠区分成功推理与错误游走。

文章展示:追踪模型内部表征的移动轨迹(称为 Latent-Trajectory signals)可以作为一种免训练方法,较准确地预测解答正确性并精简推理过程,从而有望替代昂贵的多次采样/验证方案。