混合架构成趋势:NVIDIA Nemotron-H 主打 Mamba 少量注意力
khademinori · x · 2026-10-10
在讨论模型架构路线时,网友指出行业正走向 Transformer + SSM/线性层的混合架构,并举例 NVIDIA 的 Nemotron-H 系列:主体为 Mamba(SSM),仅混入少量注意力层,以兼顾效率与性能。
「研究」频道最新
- 2D 协同进化通信迁移到实体机器人:30 次实验仅 1 次成功 — uv-mex · 2026-10-10
- 协同进化通信 2D→3D 迁移:短回合评估会低估控制器性能 — uv-mex · 2026-10-10
- SGS 只改 RL 重置采样,机器人零真实数据组装齿轮成功率94% — abhishekunique7 · 2026-10-10
- 35.5万矩形装箱数据库刷新15项方块装箱纪录,几乎零算力 — ctjlewis · 2026-10-10
- AI 评估员研究怎么做:五步方法论与实战经验总结 — davidstutz92 · 2026-10-10
- Regents Labs 推出每日一篇 AI 论文精读栏目 Paper Pro Daily — seanwbren · 2026-10-10