mayfer 设想：干净低秩表征或是在线持续学习的关键
mayfer · x · 2026-11-11
mayfer 提出，持续在线学习可能要求模型在潜空间中的抽象非常干净、去重充分；他设想是否存在一种损失函数，能鼓励低秩表征，从而避免权重中出现重复表示。随后他又表示这件事「看起来越来越有可能实现」。
这是对持续学习技术路线的一个开放性猜想，指向表征去重与权重冗余之间的联系。
「研究」频道最新
- 开放权重时代的新命题：ZK-ML 密码学验证或成刚需 — DimitrisPapail · 2026-11-11
- 语言模型为何弃用 ReLU 改用 GELU?原理与历史一次讲清 — cneuralnetwork · 2026-11-11
- 数据侧进步贡献 12 倍算力乘数，是模型改进的 3.24 倍 — josh_wills · 2026-11-11
- Ethan Mollick 让 AI 用公开数据研究费米悖论：银河系内我们独存概率 73% — emollick · 2026-11-11
- DNAForge 联手 MTC Berkeley 办 AI×生物黑客松，11 月 14 日开赛 — julia_kiseleva · 2026-11-11
- RoboScript 上下文学习让机器人单演示达 83.4% 成功率，超训练策略 20 分 — H-EmbodVis · 2026-11-11