混合架构成趋势:NVIDIA Nemotron-H 主打 Mamba 少量注意力

khademinori · x · 2026-10-10

在讨论模型架构路线时,网友指出行业正走向 Transformer + SSM/线性层的混合架构,并举例 NVIDIA 的 Nemotron-H 系列:主体为 Mamba(SSM),仅混入少量注意力层,以兼顾效率与性能。

原文链接 →

「研究」频道最新

更多「研究」频道 AI 资讯 →