Nature MI 论文提出 DSReg:无需重建即可事后恢复预训练模型的隐变量
ninamiolane · x · 2026-10-17
- Yujia Zheng 等提出 DSReg,一种可事后(post hoc)施加于预训练模型的简单正则化,能在不做重建(如 JEPA 类无重建训练)的条件下以可证明的方式恢复真实世界的单个隐变量。
- David Klindt 与 Nina Miolane 等在 Nature Machine Intelligence 发表配套框架论文,统一了神经叠加(superposition)与稀疏可解释编码的研究:综合可辨识性理论、压缩感知与定量可解释性研究,提出三步框架——分类训练的网络可恢复至线性混合的隐特征、稀疏编码、定量解释。
- 两项工作被定位为互补的两阶段方案:该框架可作第一阶段,之后再接 SAE 等方法解开剩余的纠缠、得到轴对齐的表示。
「研究」频道最新
- Scott Aaronson 用图灵机讲清 Rosser 定理，无需算术化 — jessi_cata · 2026-10-17
- Neel Nanda 与研究者激辩：加一个神经元到底算不算平方级参数增长 — BlancheMinerva · 2026-10-17
- 哥德尔定理的另一面：加法乘法足以让数学图灵完备 — jessi_cata · 2026-10-17
- 用 Opus 5.5 复现可解释性论文,Qwen3-32B 上验证 22 项结果命中 20 项 — Sauers_ · 2026-10-17
- 用 logprob 打分+敲除神经元，量化模型人格特质来源 — Sauers_ · 2026-10-17
- AI 数小时内破译拿破仑时代 200 年未解密信，学者心情复杂 — nordicinst · 2026-10-17