黎曼-洛伦兹参数融合：让 ViT 与状态空间模型免重训直接合并

burkov · x · 2026-10-30

Andriy Burkov 介绍一项针对视觉系统扩展痛点的模型合并框架。端到端重训现代视觉系统成本高昂，模型合并虽可从预训练权重合成知识而免去重训，但现有权重平均技术要求模型架构与参数形状完全一致，导致全局 Vision Transformer 与线性扩展的状态空间模型（SSM）无法直接融合。

文章提出的 Riemannian–Lorentz Parameter Fusion 框架的核心思路：

• 不强行把参数塞进单一网络，而是以双分支混合系统让两种架构并存
• 将参数映射到共同表示，再通过几何方式对齐并融合
• 从而桥接架构上不兼容的模型族，结合两者互补优势

对需要在多种视觉架构间复用知识、又负担不起重训的工程实践者，这是降低成本的一条新路径。

原文链接 →

「研究」频道最新

• Epoch 数据：芯片能效年升 40%，AI 算力与电力缺口持续拉大 — teortaxesTex · 2026-10-30
• Soft-MTP 论文:一行代码修复多 token 预测梯度缺陷,全尺度免费涨点 — pmttyji · 2026-10-30
• Vicki Boykis DataPhilly 演讲：ONNX 推理下的检索与排序实践 — vboykis · 2026-10-30
• 6299 队中夺第 9：智能体读 MRI 写标签征战 Kaggle 膝关节异常检测 — kagglingdieter · 2026-10-30
• Meta 发布 RoboJEPA：8B 参数机器人世界模型首建缩放律 — apsarathchandar · 2026-10-30
• 读 57 篇论文总结:多伦多大学称 harness 设计可造成 6 倍性能差 — Marmelab · 2026-10-30

更多「研究」频道 AI 资讯 →