DSReg:免重建即可证明性恢复真实潜变量的事后正则化
ShahabBakht · x · 2026-10-09
研究者 Yujia Zheng 等提出 DSReg,一种简单的正则化方法,可以在不依赖重建(如 JEPA 类目标)的情况下,可证明地恢复真实世界的单个潜变量。
- 关键思路:利用 Jacobian 的稀疏支撑结构——例如移动一个物体不会改变整幅图像——以此实现完全的潜变量解耦
- 与此前 LeJEPA 只能恢复到线性混合不同,该方法可分离到单个潜变量
- 可事后(post hoc)应用于已预训练的模型,无需重新训练
- David Klindt 等评价其为一种非常优雅的解耦思路
所属事件:DSReg 论文：无需重建即可恢复 JEPA 个体潜变量(3 条相关)→
「研究」频道最新
- 新实验:LLM 能读出已删 CoT 的隐藏信息,瓶颈在引出而非存储 — Sauers_ · 2026-10-09
- 直接改权重：Goodfire VPD 让模型答对率提升 10 倍，并揭开自省失效机制 — Sauers_ · 2026-10-09
- 从经验中学习长什么样:模型在棋局中学会重视和棋 — anirudhg9119 · 2026-10-09
- 关闭单个注意力头竟改善 Qwen3-1.7B 的「自省」行为 — Sauers_ · 2026-10-09
- 模型能内省找回已删除的 CoT 词元,机制却出人意料 — Sauers_ · 2026-10-09
- Inherit-MAS:借鉴生物遗传的多智能体系统测试时进化,省 34.6% token — Songtao Wei · 2026-10-09