TRAAC提升推理效率与准确率
EliasEskin · x · 2026-07-14
这条转发介绍了 TRAAC（Think Right with Adaptive, Attentive Compression）被 COLM 2026 接收。 它是一种在线 post-training RL 方法，目标是解决推理模型在“想太少”和“想太多”之间的权衡： - 对难题，模型容易过早结束推理，导致 underthinking。 - 对简单题，模型又可能生成过多推理步骤，造成 overthinking 和额外计算开销。 TRAAC 的核心做法有两部分： 1. **Difficulty Calibration**：根据题目难度动态分配思考预算。 2. **Attention-Based Compression**：利用长推理轨迹中的自注意力，剪掉冗余步骤。 引用内容里还提到，在 AIME、AMC、GPQA-D、BBEH 等任务上，TRAAC（基于 Qwen3-4B）在提升准确率的同时，能显著缩短 reasoning chain，并取得平均绝对精度提升。