MaRN 库用低维参数映射压缩网络:MNIST CNN 参数减 57.7 倍
Less_Dream_6331 · reddit · 2026-10-09
作者发布了 MaRN(Mapping Networks),一个 PyTorch 库,思路是优化一个紧凑的潜在表示,而非直接训练每个模型参数,再通过低维映射还原参数。
初步基准结果:
- MNIST CNN:可训练参数从 107,998 降到 1,872(57.7 倍压缩),准确率 91.80%
- LSTM 预测:12,051 → 2,048 参数,验证 MSE 0.00006
- CNN2 + 剪枝:仅 204 个可训练参数,准确率 81.25%
作者坦承存在明显取舍:映射模型训练可能大幅变慢,且效果因任务而异;部分基准用了合成数据,不能证明普遍优于直接训练。库内含全局与逐层映射、正则化选项及剪枝/LRD 集成。代码与文档已开源,作者征求对方法、基准设计及应用场景的反馈。
「研究」频道最新
- LangChain 创始人：eval 驱动开发撞上 Goodhart 定律，自主 Agent 怎么爬坡？ — hwchase17 · 2026-10-09
- Hugging Face 上线机器人数据集查看器，2.4 万个 LeRobot 数据集可浏览 — mishig25 · 2026-10-09
- 纯本体感觉让盲人形机器人踢球提箱，论文入选 Humanoids 2026 — Jan_R_Peters · 2026-10-09
- 同一盲人形机器人研究团队：删掉物体信息，PPO 自己学会搜索操作 — Jan_R_Peters · 2026-10-09
- U-Space:用机制可解释性找到 LLM 内部「不确定子空间」,无需训练可测信心 — Tobias Braun · 2026-10-09
- CARE:带统计保证的 VLA 推理加速认证,OpenVLA-OFT 提速 9-10.8 倍 — UMCP · 2026-10-09