ICML论文：大模型每个参数约具3.6比特记忆容量

英伟达AI分享了一篇即将展示的ICML论文，探讨了语言模型的记忆容量。该研究提出了一种新方法，将模型记忆正式拆分为“无意记忆”（对特定数据集的信息）与“泛化”（对真实数据生成过程的信息）。通过在完全消除泛化的条件下进行估算，得出GPT风格模型的容量约为每个参数3.6比特，为评估推理数据规模提供了新视角。

2026-07-07 ~ 2026-07-07 · 2 条相关