按 LeCun 的外推定义,神经网络的一切都是外推
burny_tech · x · 2026-09-02
作者质问如何在数学上定义「真正的外推」和「不变因果模型」来支撑一条推特线程的主张，指出按 Yann LeCun 对外推的数学定义，神经网络所做的一切基本都算外推。
被引用的推文提到：约三年前 Chinchilla 论文（《Training Compute-Optimal Large Language Models》，arXiv:2203.15556）引发热潮后，多位顶尖物理学家离开 CMTC 加入 AI 公司，试图「理解」LLM 的 scaling 行为。Chinchilla 论文核心结论：在固定算力预算下，模型大小与训练 token 数应等比例扩展；其 70B 参数、4 倍数据版本在广泛下游任务上显著超越 Gopher、GPT-3 等。
「漫话AGI」频道最新
- 博主反讽:人类垃圾内容早于 AI 存在,AI slop 反成替罪羊 — taherdhanera · 2026-09-02
- AI说服力为何难变现？补充：注意力难抢、人有抵抗力 — _FelixSimon_ · 2026-09-02
- 牛津研究者：AI说服力惊人，但现实影响被高估了 — _FelixSimon_ · 2026-09-02
- AI 先取代的是工作流而非岗位:五人小组悄悄改写组织用人逻辑 — SuspiciousAir6358 · 2026-09-02
- LLM 像上千个不会说话的天才工程师:创始人「榨脑」时代来临 — StewartalsopIII · 2026-09-02
- GPT-5.6 与耶鲁学者破解悬置 40 余年信息论猜想 — burny_tech · 2026-09-02