LEV-2.6B 深度1到4,JevBench 成绩从 63.2% 升至 76.2%

RobertTLange · x · 2026-11-08

作者 RobertTLange 分享了关于自适应推理深度（ThinkJev/LEV 系列）的实验结论：

按置信度做按需深度不划算：在有标注数据上，置信度阈值难以跑赢固定深度混合。深度 1 的答案在校准集上准确率高达 94.8%，但换到新数据源后跌至 78.9%，置信度却几乎不变——说明 logit 置信度并不可靠。
深度确实带来收益：LEV-2.6B 在 JevBench 上从深度 1 的 63.2% 提升到深度 4 的 76.2%（配图表格显示深度 4 时延迟约 200ms，在同等训练数据的模型中综合表现最佳）。
按需深度省算力有限：按需调节深度可节省 15–24% 算力，且精度损失不到 1 个百分点，主要靠在简单题上提前停止（简单/标准/难题分别约 1.2/2.4/3.0 步完成）。
但相比固定深度混合，收益很小：仅 +0.1–1.0 个百分点。

「研究」频道最新