TRL 新增 Nemotron-H 树打包支持,GRPO 训练提速最高4倍
yb2698 · x · 2026-11-19
开发者 AmineDiro 在黄仁勋/NVIDIA 舆论风波背景下表态:不评论私事,但认为 Nemotron 系列开源模型很出色,并给 Hugging Face TRL 提交了 PR #8457,为 Nemotron-H 系列添加树打包(tree packing)支持。
- 此前 AsyncGRPOTrainer 拒绝接受 Nemotron-H,原因有二:层类型检查不认识 moe/mlp 块(逐 token 作用、无需树打包);Mamba2 层不遵循树结构,conv 和 scan 会从一条分支串到兄弟分支。
- 修复方案 patchtreeops 按模型族包裹 Transformers 的循环层模块级函数:gated DeltaNet 族(Qwen3.5、Qwen3-Next、OLMo-Hybrid 等)与 Mamba2 族(Nemotron-H、Granite-4.0-H、Bamba 等);模型建模模块缺少族内任一函数就在 init 时拒绝,避免状态泄漏。
- 配图基准显示:随打包比从 1.0 升至 5.56,普通打包的前向+反向耗时急剧上升(Nemotron 3 Nano 约 1200ms),树打包基本持平(约 230ms),即高压缩比下约 4-5 倍提速,在 Nemotron 3 Nano/Super、Granite-4.0-H-Small、Bamba-9B 上均成立。
「研究」频道最新
- Freenet 发布新视频:用传统机器学习做网络路由 — Sanity · 2026-11-19
- Empire AI 在纽约设 120+ 个早期职业研究岗位,Cornell 博士后申请截止 12/15 — dianarycai · 2026-11-19
- 作者反击 ICLR 撤稿争议:写了长 rebuttal 却无人回应,为何不能撤? — hbouammar · 2026-11-19
- 1.5B 小模型 31ms 出决策,胜过 4B 对手拿下同尺寸第一 — Cod3Conjurer · 2026-11-19
- 训练前先验证:把轨迹提炼成技能喂进上下文重跑评测 — ziv_ravid · 2026-11-19
- 从动机到数据到评测:工程师长文拆解企业级 post-training 全流程 — ziv_ravid · 2026-11-19