Gacha Decoding:靠指令遵循+外部随机数,样本效率超此前方法 11 倍
natolambert · x · 2026-10-03
研究者提出 Gacha Decoding,一种提升 LLM 输出多样性的新解码方法,样本效率比此前工作高 11 倍以上。
核心思路:
- 不依赖 token 熵来产生多样性,而是利用模型的指令遵循能力+外部随机数生成器(RNG)
- 像抽卡一样反复「重roll」模型,即可获得多样化的想法、合成数据、RL 环境等
- 适用于需要多样输出的场景:数据生成、RL 探索、头脑风暴等
「研究」频道最新
- AC2 方法用 Critic 评 token 块，部分 rollout 训练快过 GRPO — ZeYanjie · 2026-10-03
- KAIST 推出 World Observer:全景观察者让世界模型看视野外世界 — Scobleizer · 2026-10-03
- Ofir Press 回应 bug 基准争议：训练该行为可取，但不许刷测试集 — OfirPress · 2026-10-03
- 中科院五年规划专章布局 AI for Science,中美路线大对决 — teortaxesTex · 2026-10-03
- 自动实验室标准草案浮现,AI 驱动科研或成下一个爆发点 — Afinetheorem · 2026-10-03
- 带 agent 的论文引用更多,AI 文献检索只看标题? — rajammanabrolu · 2026-10-03