从语料统计推导缩放律
yasamanbb · x · 2026-07-10
帖子转述一项研究：作者从可测量的语料统计量直接推导出数据受限条件下的神经网络 scaling 指数。 该方法不依赖合成数据模型，只使用两类可观测量：token-token 相关性随距离的衰减，以及下一 token 条件熵随上下文长度的衰减。
yasamanbb · x · 2026-07-10
帖子转述一项研究：作者从可测量的语料统计量直接推导出数据受限条件下的神经网络 scaling 指数。 该方法不依赖合成数据模型，只使用两类可观测量：token-token 相关性随距离的衰减，以及下一 token 条件熵随上下文长度的衰减。