NVIDIA 论文:混合 Mamba-Transformer 模型 Nemotron-H

cwolferesearch · x · 2026-08-19

NVIDIA 发布 Nemotron-H 系列模型论文,提出混合 Mamba-Transformer 架构以兼顾准确性与效率。配套推文讨论了 midtraining/CPT 训练技巧:强调针对数学、代码、科学等特定领域的高质量数据混合,同时保留部分通用数据以防灾难性遗忘。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →