Top-b 采样法:用香农熵动态调采样范围,GSM8K 方差降近 10 倍
cneuralnetwork · x · 2026-10-26
博主 cneuralnetwork 介绍新解码策略 Top-b(entropy-adaptive token sampling, arXiv:2603.14567):不同于 Top-k/Top-p 的固定采样参数,Top-b 用香农熵动态调整候选 token 范围——模型有信心时收窄采样带,不确定时放宽以保留多样性。
在 Gemma 3 4B 上的实测(GPQA Diamond / GSM8K,对比 Top-k、Top-p、Min-p、Typical、EAGLE-2):
- GSM8K:Top-b 准确率 26.80%,高于 Top-p 的 26.13%,且跨次运行的方差降低近 10 倍
- GPQA Diamond:Top-b 准确率 22.85%,为所有对比方法中最高
- 平均生成熵 0.1579,同样是测试方法中最低
作者的观察:不用重训模型,仅改变解码阶段的采样方式就能让生成结果更稳定一致——LLM 的行为不仅取决于权重,也取决于我们如何从概率分布中采样。
「模型」频道最新
- 投资人 Bindu Reddy：美国开源模型已大幅落后中国，拿补贴的实验室均未达标 — bindureddy · 2026-10-26
- Antigravity 破解版泄露 Gemini 4 Flash:内部代号 gemini-4-cp,200k 上下文 — koltregaskes · 2026-10-26
- 研究：层复制与循环结构让语言模型更早学会上下文学习 — omarsar0 · 2026-10-26
- 实测：当前大模型在依赖类型语言的类型设计上表现极差 — hargup13 · 2026-10-26
- 图表：Claude Opus 5.5 上线两周即以 34.4% 消费占比登顶 — scaling01 · 2026-10-26
- 开发者直言:Claude 做安全审计「很差劲」 — letandrewcook · 2026-10-26