NVIDIA 论文:混合 Mamba-Transformer 模型 Nemotron-H
cwolferesearch · x · 2026-08-19
NVIDIA 发布 Nemotron-H 系列模型论文,提出混合 Mamba-Transformer 架构以兼顾准确性与效率。配套推文讨论了 midtraining/CPT 训练技巧:强调针对数学、代码、科学等特定领域的高质量数据混合,同时保留部分通用数据以防灾难性遗忘。
「模型」频道最新
- Ornith-1.5 开源模型家族发布,397B 版对标 Claude Opus 4.8 — KokaOP · 2026-08-19
- Grok 4.6 在 ForgeCAD 画笔:测试模型对物理产品内部结构的认知 — MarvinTBaumann · 2026-08-19
- Fable 5 能写代码却不能审计安全,用户吐槽规则矛盾 — Few_Object_2682 · 2026-08-19
- 实测 GPT Pro 推理深度碾压对手:发现跨研究关联并纠正数据 — PromptOutlaw · 2026-08-19
- Mistral与前沿模型在网安领域差距巨大 — emollick · 2026-08-19
- Reddit 讨论:为何 AI 延长思考能提升效果?原理是什么 — Neat_Initiative_7780 · 2026-08-19