对下一词预测的奇妙抗拒

willdepue · x · 2026-07-12

作者调侃说，很多人似乎“非常反对 next token prediction”，一听到模型可能只是 Transformer 和下一词预测，就会本能地抗拒。他把这种反应解读为：人们要么真的觉得自己的“直觉”能看穿模型内部，要么只是对“神性被过度简化”感到不适。