同一组 logits,温度从 0.2 到 5.0,最高 token 概率从 99.7% 跌到 15.6%
cneuralnetwork · x · 2026-10-25
作者用 PyTorch 做了一个固定 logits、只改温度的采样实验,直观展示温度对 token 分布的影响:
- T=0.2 时最高概率 token 占 99.73%;升到 T=5.0 后骤降至 15.58%——logits 全程不变,仅 softmax 除以 T
- 低温放大 logits 差异,高温拉平分布;配图显示 T=2 时 128 次采样已覆盖 12 个候选 token
- 实验用固定合成 logits、每档温度 2 万次采样,清晰呈现解码策略本身就能大幅改变输出多样性
「研究」频道最新
- 两项实验证实：同一作品被标为 AI 生成后评分显著降低 — AIandDesign · 2026-10-25
- Anthropic 用 Claude 数周内形式化验证百余个真实开源库 — tianyin_xu · 2026-10-25
- AI 圈吐槽:slop 论文为何难审,审稿人自己说不清 — mrdrozdov · 2026-10-25
- AI 写代码优化并发 B 树,系统研究者被呼吁做更大胆的项目 — tianyin_xu · 2026-10-25
- Amazon ATTUNE 编码 agent 自动调优训练配方,H100 平均提效 1.7 倍 — kalyan_kpl · 2026-10-25
- 数学家评 OpenAI 攻克 Navier-Stokes:没有 AI 百年也难达成 — skdh · 2026-10-25