Schmidhuber 说神经网络蒸馏早在 1991 年就已发表
SchmidhuberAI · x · 2026-07-23
Jürgen Schmidhuber 认为，神经网络蒸馏其实早在 1991 年就已发表，后来的相关工作更多是在重新包装这一思想。
他把讨论放到 2025 年围绕 DeepSeek 的一场争议中：蒸馏是谁发明的？他的说法是，早期论文已经提出了通用的师生模型压缩原则——让学生网络通过模仿教师网络的行为，把知识压缩进更小的模型里。
所属事件:Schmidhuber称神经网络蒸馏技术早在1991年已发表(3 条相关)→
「研究」频道最新
- 手工核查 105 篇论文：复现失败多因代码缺失和结果不一致 — ChenhaoTan · 2026-07-23
- 用代理网关阻断智能体工具调用死循环 — bulleykebaal · 2026-07-23
- 《NEJM AI》刊文：生成式AI干预有效缓解大学生抑郁焦虑 — zakkohane · 2026-07-23
- Cohere将办演讲：探讨LLM智能体可靠性与不确定性信号 — Cohere_Labs · 2026-07-23
- Writer 研究揭示：优化 AI 外部架构可降本 41% 且不损精度 — bendee983 · 2026-07-23
- 数学推理轨迹或能揭示模型如何思考 — benno_krojer · 2026-07-23