InfiX 联合 NVIDIA 推出 miniTE:原生 NVFP4 强化学习提速 1.39 倍
InfiX-ai · hf · 2026-10-27
InfiX.ai 与 NVIDIA 发布 miniTE,诊断并弥合原生 NVFP4 强化学习中的跨引擎执行差距,实现稳定的 4-bit LLM 强化学习。
- 关键发现:仅对齐模型权重与数值格式不足以保证一致的策略评估,跨引擎(训练引擎与采样引擎)数值对齐才是稳定学习的关键。
- miniTE 结合执行诊断、跨引擎数值对齐与高效的原生 W4A4(4-bit 权重+激活)GEMM 计算,不修改 RL 目标即可提升数值一致性。
- 在 Qwen3-30B-A3B 长程 RL 实验中训练稳定,评测质量接近 BF16,优于朴素的 Transformer Engine NVFP4。
- 单节点 8×B300 GPU 上,优化后的 learner 达 33,540 tokens/s,较 BF16 与 TE NVFP4 分别提速 1.39× 与 1.47×(完整 learner 更新口径)。
框架、kernel、诊断工具与训练配置均已开源。
「Infra」频道最新
- 谷歌高薪招聘反爬虫工程师,年薪最高 21.6 万美元防 LLM 抓取 — gaganghotra_ · 2026-10-27
- Kimi K3 跑在 AMD MI355X 上:吞吐超英伟达 B300 最高 86% — YouJiacheng · 2026-10-27
- SemiAnalysis:Anthropic S-1 显示推理生意利润极佳,Neocloud 依旧赚钱 — johncoogan · 2026-10-27
- MiniMax M3.1 Flash 智能体成绩超 Opus 5.5,成本低 27 倍 — togethercompute · 2026-10-27
- Unlimited OCR 2 发布:一次吞下 3600 页哈利波特,KV 缓存从 47GB 降到 1.77GB — xiaohu · 2026-10-27
- 不用买机械臂:一张 4070 Ti SUPER 本地跑通 π0.5 具身模型 — lxfater · 2026-10-27