神经网络是在上下文里造函数
andrew_n_carr · x · 2026-07-13
作者认为，传统上把神经网络理解为“学习一个函数”的图景，现在已经不够准确了。 他提出更合适的描述是： - 重要的神经网络并不是直接学一个静态函数； - 它们更像是在**根据上下文构造函数**； - 真正发生的机制，更接近一个“函数工厂”，而且这个过程可以在没有梯度的情况下由上下文中的电路完成。 这是一种对神经网络工作方式的概念重述，强调上下文在推理中的核心作用。
andrew_n_carr · x · 2026-07-13
作者认为，传统上把神经网络理解为“学习一个函数”的图景，现在已经不够准确了。 他提出更合适的描述是： - 重要的神经网络并不是直接学一个静态函数； - 它们更像是在**根据上下文构造函数**； - 真正发生的机制，更接近一个“函数工厂”，而且这个过程可以在没有梯度的情况下由上下文中的电路完成。 这是一种对神经网络工作方式的概念重述，强调上下文在推理中的核心作用。