Szegedy 感叹：训练损失的这一缺陷竟十多年无人察觉
ChrSzegedy · x · 2026-10-27
Google 杰出研究员、传奇计算机科学家 Csaba Szegedy 转发并评论 Brandon Damos 关于训练损失的发现，感叹「这些发现居然十多年无人注意」。被引内容补充：原帖讨论的是 soft cross-entropy 损失的问题与修复，而 reverse KL 和 JSD 这类蒸馏常用损失也存在类似问题，Damos 给出了对应修复的总结线程。涉及蒸馏训练目标的隐性缺陷，值得关注。
「研究」频道最新
- AI 设计药物在人体见效，抗衰老正变成『可修复问题清单』 — rand_longevity · 2026-10-27
- 复杂度理论新猜想：算法提速的代价是变丑 — Elijah_Meeks · 2026-10-27
- UMAP 为何把模型可视化拉成一条弧:一个巨型坐标主导一切 — leland_mcinnes · 2026-10-27
- NeurIPS 基准:45 个数据集上树模型仍胜深度学习,XGBoost 领先 — tak3sh8 · 2026-10-27
- Kevin Bryan 演示「人机共创」设计工具并谈 AI for Science 训练逻辑 — Afinetheorem · 2026-10-27
- Claude 内部研究模型称自主发现反驳指数时间假设的 3-SAT 算法 — scaling01 · 2026-10-27