45万亿tokens只是开始

iamtrask · x · 2026-07-17

作者转述一个数据规模判断：**45 万亿 tokens 大约相当于 300TB 文本**，但世界上的数据量远不止这个数量级，甚至可高出约十亿倍。核心意思是：当前用于训练模型的数据，只覆盖了人类可获得信息的一小部分，因此“数据枯竭”并不是终点，AI 训练还远没到尽头。