Yang You 提出「大偏导理论」:PhD 别盲目挤高斜率赛道
YangYou1991 · x · 2026-11-21
HPC-AI 教授 Yang You 转发并回应「简中区 PhD 理论」总结,提出「大偏导理论」反对盲目追崇「大斜率理论」:
- 大斜率理论的局限:只看事情本身的增速,不考虑个体能带来的边际贡献。如 LLM 基模训练实习斜率大,但很多人进去只是洗数据,换人也能做
- 大偏导理论:把事情进展看成多变量函数,找「自己多投入一分能多推进多少」的方向。PhD 应选对自己的投入偏导最大的方向
- 作者自述:曾做 LLM Agent 后训练,认为该方向斜率巨大但个人偏导趋近于零(「学术界 Agent 论文 99% 是废纸」),后转向多模态生成做 Diffusion Post-Training,半年发出 DiffusionART 论文,据称已被视频生成大厂用于 Post-Training Pipeline
- 结论:论文大爆炸时代,代表作、知名 blog 和开源项目远胜论文数量,关键是「没了你进展明显变慢」
引用推文还汇总了「大 Bench / 大实习 / 大粉 / 大日结 / 大斜率 / HR」等一众简中 PhD 理论。附 DiffusionART(arXiv:2610.12572)论文页:提出聚合奖励方向 + trust-region 修复的扩散模型 RL 后训练方法,无需 EMA 调参和可微奖励模型。
「漫话AGI」频道最新
- AI 时代的工作困境:你被迫同时过着创造者与管理者两种日程 — arjunrajlab · 2026-11-21
- 超 90% 代码已由 AI 编写,AI 写作却在 50% 处停滞 — bendee983 · 2026-11-21
- Dorsey:Block 裁员后组织更扁平,只剩三种核心角色 — shivsingh · 2026-11-21
- 观点:超级智能将先在生物医学「纸上破局」,无需湿实验室就能找癌症疗法 — Dr_Singularity · 2026-11-21
- 转发回顾:OpenAI 推理模型自主否定 Erdős 单位距离猜想 — aran_nayebi · 2026-11-21
- 政府资助儿童频道疑为 AI 生成,「动画师真完了」 — justalexoki · 2026-11-21