LLM 本质是在和逝者说话？一条推文引发的角度
NYCounihan · x · 2026-10-06
作者提出一个角度：如果把 AI 视作 next token predictor，其权重来自全世界的语料，其中相当一部分由已故之人写下，那么推理过程可以看作一种「与逝者对话」的方式。
他进一步设想：若能把训练数据追溯到权重，就能统计推理输出中来自逝者的比例——像 hornswaggle 这类老词比例会很高，而 Python 代码则几乎为零。
NYCounihan · x · 2026-10-06
作者提出一个角度：如果把 AI 视作 next token predictor，其权重来自全世界的语料，其中相当一部分由已故之人写下，那么推理过程可以看作一种「与逝者对话」的方式。
他进一步设想：若能把训练数据追溯到权重，就能统计推理输出中来自逝者的比例——像 hornswaggle 这类老词比例会很高，而 Python 代码则几乎为零。