NVIDIA 后训练 Nemotron-3.5-Super-VL 做自主 ML 研究员，28% 提至 35%
AlexGDimakis · x · 2026-10-16
加州大学圣地亚哥分校 Dimakis 团队与 NVIDIA 合作，将 Nemotron-3.5-Super-VL 后训练成「自主 ML 研究员」，在 AutoResearchExam 上从 28% 提升到 35%，追平总参数量 20 倍的 Qwen 3.8 Max（35.3%），并明显超过 Muse Spark 1.3（25.8%）。
- 任务形态：长周期、开放式的 AI/ML 研究任务，如给 transformer 计算图写更快的执行器、训练 RL 控制策略、设计新的不确定性量化方法；模型只有一次提交机会，结束前看不到分数。
- Self-context distillation（SCD）：让模型在带提示的条件下解题，再用「去掉提示」的轨迹做 SFT，单独带来 +11%。
- Reflection：进一步让模型复盘自己过往的尝试并写下具体经验教训，再用于 SFT，把成绩推到 0.358。
这是一个「用小型模型+数据工程逼近大模型研究能力」的代表性案例，SCD 与反思式 SFT 的组合对研究者有直接借鉴价值。
所属事件:Nemotron 后训练成自主 ML 研究员，成绩大幅提升(2 条相关)→
「模型」频道最新
- 微软 MAI-Base-2 用 1.6 万块 GB200 训练 38 天，MFU 仅 21% — scaling01 · 2026-10-16
- 曝微软 MAI-Base-2 用 1.6 万张 GB200 训练 38 天，2.8T 参数 MoE — scaling01 · 2026-10-16
- 曝 Meta 开源 Muse Spark Open,权重今日发布可在 Mac Studio 本地跑 — awnihannun · 2026-10-16
- 网友嘲讽 Gemini 4 Argon 连 Gmail 日历都调不好,离前沿还远 — firstadopter · 2026-10-16
- 「训练 FLOPs 效率高 12.3 倍」图表引热议：中国 neolabs 要崩了吗 — scaling01 · 2026-10-16
- 曝 Meta Muse Spark 架构酷似 Kimi-K2：816B@42B、62 层 — scaling01 · 2026-10-16