香农忆「熵」命名往事:冯·诺依曼称没人懂熵,争论永占上风

eigenron · x · 2026-10-15

eigenron 转发了香农 1971 年发表于《Scientific American》的回忆:他当初本想把自己度量不确定性的函数命名为「information」,但该词已被过度使用,遂改叫「uncertainty」。征询冯·诺依曼意见时,后者建议命名为 entropy,理由有二:一是该函数在统计力学中早已叫这个名字;二是「没人真正知道熵是什么,辩论时你永远占优势」。

这段轶事既是信息论命名史的趣味注脚,也常被 AI 圈引用来解释大模型训练中的交叉熵损失为何如此命名。