NVIDIA 论文：混合 Mamba-Transformer 模型 Nemotron-H
cwolferesearch · x · 2026-08-19
NVIDIA 发布 Nemotron-H 系列模型论文，提出混合 Mamba-Transformer 架构以兼顾准确性与效率。配套推文讨论了 midtraining/CPT 训练技巧：强调针对数学、代码、科学等特定领域的高质量数据混合，同时保留部分通用数据以防灾难性遗忘。
「模型」频道最新
- 数据说话：路由和安全分类用决策模型，中位速度快 7-8 倍 — randal_olson · 2026-10-16
- 小米 MiMo V2.6 Pro 登顶 Agent Arena 开源榜，成本仅 $0.11/任务 — arena · 2026-10-16
- ChatGPT 推荐视频工具时提示「可通过 Runway 集成获取」，被讽疑似软广 — tlakomy · 2026-10-16
- 微软 MAI 自研 3T 参数级预训练基座模型完成，后训练结果即将公布 — soumitrashukla9 · 2026-10-16
- 实测 Gemini 4 Argon：速度远超 Opus 5.5，但幻觉多且贵 — prasenx · 2026-10-16
- Bindu Reddy 呼吁 Meta 开源 Wonder:称其略强于 DeepSeek — bindureddy · 2026-10-16