发明还是普及？Rich Caruana 早于 Hinton 提出知识蒸馏
khademinori · x · 2026-11-03
回应关于「用 agent 复现简单 mech interp 想法是否算新研究」的争论，作者认为科学本来就包含普及与传播：Rich Caruana 早已发明知识蒸馏，Geoffrey Hinton 则让它广为人知。被引用的 Yavuz Bakman 推文称，他两周前在一份 take-home 研究面试题里用 Claude Opus 5-5 成功抑制了模型中的某个不想要的特征，相关 Qwen 实验并不比这更令人印象深刻——在有大量可解释性研究和开源仓库的今天，agent 实现一个简单的 mech interp 想法并不稀奇。
「Fun」频道最新
- 梗图:你地板下是不是藏着 128GB 内存跑本地模型? — cneuralnetwork · 2026-11-03
- 湾区派对全员对喵一整晚，播客爆 SF AI 圈离谱社交现场 — EddyVGG · 2026-11-03
- 一张梗图看懂 AI 圈一周：周三是 neolabs，周五是 alignment 事故 — dejavucoder · 2026-11-03
- Rohan 呼应马斯克：太空数据中心可行，希望 13 年内看到太空训练 — marksaroufim · 2026-11-03
- 用 ChatGPT 设计 AI 角色 MUD,生成的 NPC 名字有点不祥 — jessi_cata · 2026-11-03
- RL 工程师梗图:「这是一种平静的生活」 — typedfemale · 2026-11-03