模型价值等于省下的条件熵：世界越乱，模型公司越难赚钱

xiaosun86 · x · 2026-11-06

作者用信息论框架给「模型发布的影响力」下了个定义：H(想要的世界 | 已理解的世界) 减去 H(想要的世界 | 已理解的世界，加上你的模型)，即模型为补全世界认知所消除的条件熵。

推论是：如果世界本身的先验熵在快速飙升（环境变化太快、信息混乱），模型能确定消除的那部分熵占比就会缩水——模型公司将因此面临逆风。配图则展示了 mechanistic shaping 方法：在选定层计算概念方向向量 vt，训练时在任务损失上加 λ 倍依赖惩罚项，并随表征漂移周期性重算该方向，以抑制模型对不想要概念的依赖。