Schmidhuber 称 1991 年论文已提出 LLM 三大关键技术
SchmidhuberAI · x · 2026-10-06
Jürgen Schmidhuber 发帖重申，其 1991 年在 TUM 发表的论文《Neural sequence chunkers》（后以 Neural Computation 1992 期刊论文形式发表）最早引入了三项如今成为现代大语言模型基石的技术：
- 深度神经网络预训练——即 ChatGPT 中的 "P"（Pre-training）
- 位置编码（论文第 5.1 节）
- 神经网络知识蒸馏（第 3.2.2 与第 4 节）
这是他一贯的「优先权声明」系列之一，帖中附上了原始技术报告、期刊论文与综述链接。
「研究」频道最新
- Contravariance 理论:任务足够难时,神经网络与大脑趋同进化不可避免 — aran_nayebi · 2026-10-06
- dioscuri 晒出说服自己的论文:11 个 LLM 心智理论测试超越儿童 — dioscuri · 2026-10-06
- Shazam 十几年前如何做到听歌识曲：频谱峰值+哈希表查找 — deedydas · 2026-10-06
- AI 形式化验证的残酷现实：停机问题挡住了「现有代码库」 — danbri · 2026-10-06
- GeoCR：一个模型统一各类去云任务，10个数据集预训练免微调推理 — KAIST-VIClab · 2026-10-06
- Pi²数据管线：维基百科表格变身长上下文推理训练数据 — tuvllms · 2026-10-06