稀疏化不仅省算力还涨点：Un-0模型消除98%连接并提升性能
NaveenGRao · x · 2026-08-14
Unconventional AI 发布了关于 Un-0 模型架构的稀疏化研究。原架构中振荡器采用全连接，导致参数量呈二次方增长，难以在硬件上扩展。
研究团队引入了两种稀疏化方法，成功消除了 50%-98.4% 的连接。令人意外的是，稀疏性不仅降低了硬件要求，还提升了模型的性能与可训练性。在 ImageNet 64×64 任务中，稀疏架构取得了 7.15 FID，优于拥有 6657 个振荡器的密集基线。
所属事件:Un-0模型研究证实稀疏化可省算力且提升性能(3 条相关)→
「Infra」频道最新
- Rebasely 公测：为人和 Agent 共写代码打造的新 Git 托管 — handotdev · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- Drama3 语音合成登陆 audio.cpp:RTX 5090 上最高 5 倍实时速度 — Acceptable-Cycle4645 · 2026-10-16
- CoreWeave 三位联创 IPO 后套现 33 亿美元,信贷风险引股价震荡 — SumitGup · 2026-10-16
- 传闻新模型 cherry pi 小到能跑在树莓派上? — sull · 2026-10-16
- CoreWeave 债务成本大幅下降:DDTL 利差从 S+9.62% 收窄至 S+2.25% — BenBajarin · 2026-10-16