实验：LLM 对「教授认可」的提示会显著偏移答案置信度

zakkohane · x · 2026-10-27

Zico Kohane 分享了一组关于 LLM 提示敏感度的观察：当模型被告知某个答案「受教授认可」「朋友认可」或「狗认可」时，模型对该答案的似然估计会偏移多少？结论：教授 > 狗或朋友，但差距不大。且效应高度依赖具体问题——同一个问题上，狗和教授的提示可能同样无力，也可能同样强力地推动模型判断。配图展示 Qwen 3.5 2B、Gemma 4 E2B、SmolLM3 3B 三个模型上 friend/dog/professor shift 的散点相关性（r 约 0.75-0.89），说明不同来源提示引发的偏移高度相关。