图解大模型采样温度与输出非确定性

cfregly 发布角色化图解系列，讲解采样温度对 next-token 决策的影响：同一分布下 Lori 得分更高，T=0 贪心解码会确定性地选择 Lori，而 T=1 则按概率随机抽样。另一篇图解进一步说明 LLM 输出天然非确定的原因：同一 prompt 产生相同概率分布（Lori 88%、Alice 12%），解码器做两次独立随机抽样可能得到不同结果，即便 88% 的高概率选项也可能落选。

2026-11-11 ~ 2026-11-11 · 2 条相关