FLEET 用熵轨迹记忆替代重复采样:速度 3 倍,LiveCodeBench 涨 6.3 点
Oleksii Streltsov · hf · 2026-09-24
论文提出 FLEET,解决温度采样聚合多答案时的低效问题:无记忆的重复采样不知道先前生成及其评估,采样越多,语义重复答案比例越高,收益递减。
FLEET 给生成过程加入记忆机制:把每次生成表示为穿越高熵状态(熵超过阈值)的稀疏轨迹,用这些轨迹推断逐 token 效用分数来调整 logits。结果:
- 同等预算下,与重复采样基线同精度但加速 3 倍;
- 复杂编码任务上精度显著提升,LiveCodeBench Pass@32 从 59.9% 提升到 66.2%;
- 所测 greedy 配置下确定性强,仅需一次校准即可确定主要超参,对现有 LLM 流水线改动极小。
「研究」频道最新
- MIT 名教授 Gilbert Strang 讲统计学最重要方程 — tetsuoai · 2026-09-24
- Altman 宣称 OpenAI 模型已解千禧年大奖难题 Navier-Stokes — victor_explore · 2026-09-24
- 新论文：LLM 推理操作在内部可分离，错误计算也带正确「签名」 — rohanpaul_ai · 2026-09-24
- Together 发布 Jev 风格 4B 分类器,教你 17 美元微调自己的版本 — usamawahabkhan · 2026-09-24
- 墨尔本 multiplEOF? seL4 团队招多个博士后,用形式化方法做 agent 沙箱 — mboehme_ · 2026-09-24
- 研究者自曝花一年做特征归因，宣布不再碰该方向 — aryaman2020 · 2026-09-24