斯坦福 Potts 谈「大模型学得更多」:1B 模型更早覆盖旧知识也更易覆写
ChrisGPotts · x · 2026-10-24
斯坦福教授 Chris Potts 在讨论中确认一项关于模型规模与知识学习时序的实证观察,并指向其论文《Why Larger Models Learn More》的 Figure 8(由 Ekdeep Ambekar 制作了可视化)。
- 讨论核心:在 500B token 训练量下,1B 模型在各行数据上都是「最旧」的——小模型更早覆盖到训练语料中的知识副本。
- Potts 赞同评论者的推测:当上一份副本离得太远时,小模型更容易直接覆写,这解释了大小模型在知识记忆时序上的差异。
- 属于「更大模型学得更多」的机制性实证研究。
「研究」频道最新
- ZurichCV#15 讲座预告：DeskForge 桌面环境与 computer-use 智能体 RL 环境 — DominiqueCAPaul · 2026-10-24
- LEASH:弱代理带不确定性信号,成本降 19% 追平 Claude Opus 5 — SharonYixuanLi · 2026-10-24
- In Silico 线下活动回归:11 月伦敦谈 flow matching 与分子蛋白质设计 — mmbronstein · 2026-10-24
- DeepMind 用 AlphaProtein Novo 设计出自然界从未演化出的新酶 — hey_abusiddik · 2026-10-24
- K2 Horizon 开放 13 万亿 token 预训练数据与后训练数据管线 — ChengleiSi · 2026-10-24
- 冠脉造影狭窄检测实战：标注格式不一致让 YOLO 跨数据集崩盘 — Future-Structure-296 · 2026-10-24