新论文:LLM 解码可写成单纯形上的优化问题,镜像下降可混搭解码策略
hbouammar · x · 2026-09-29
作者团队发表新论文,把长期被视为 folklore 的 LLM 解码过程形式化为概率单纯形上的优化问题。
- 方法:将解码统一表述为优化问题,再用镜像下降求解
- 实践价值:可以像搭积木一样组合(mix-and-match)不同解码策略
- 结果:在许多场景下,组合式解码器优于现成的标准解码方法
- 开源:论文附代码库,读者可自行尝试任意组合
对做推理/采样研究的人来说,这是一个把发散的解码技术统一进优化框架的尝试,工程上也可直接复用其开源实现。
「研究」频道最新
- NYU 与 UT Austin 论文揭秘：大模型为何越来越不会说人话 — menhguin · 2026-10-24
- PL 学者谈 AI 验证：程序员要的不是证明而是信心 — xennygrimmato_ · 2026-10-24
- DeXplicit:让灵巧操作世界模型显式预测3D物理状态 — liuziwei7 · 2026-10-24
- 14 款开源 OCR 模型横评：最佳识别历史书页达 97.6% 字符准确率 — IgorCarron · 2026-10-24
- Wavestone 拆解 11 个编码 agent 源码，总结出好 harness 的 7 个组件 — blaizedsouza · 2026-10-24
- Looped Transformers 走热，10 篇新论文梳理循环架构前沿 — TheTuringPost · 2026-10-24