压缩理论解释不了创造力?推友 argues LLM 自生成才是关键

menhguin · x · 2026-10-05

针对 Schmidhuber 2009 年的「趣味与创造力的形式理论」（以压缩进度和内在动机解释美、好奇心、艺术与幽默），作者认为信息论视角的压缩和趣味性不足以完整刻画创造力：LLM 作为自回归解码器的关键在于自生成——模型通过生成使输入提示走出预训练分布，从而实现分布外泛化。他认为「自创造的冲动」加上迭代的压缩/理解目标，才更接近人们对创造力的直觉理解，并以一个能解出所有数学题但只被形容为勤奋而非「有创造力」的学生作类比。