NVIDIA 开源 Dory：4B 循环 Transformer 用推理算力换准确率
NVIDIA Developer · youtube · 2026-11-07
NVIDIA Nemotron Labs 的开放研究模型 Dory 1.0 探索一个 4B 模型能否在不改权重的情况下，用推理时更多计算换更高准确率。
要点：
- 采用循环 Transformer（looped transformer）设计，复用同一组共享层块多次前向
- SWE-bench Verified 成绩从 1 次循环的 50.3 提升到 4 次循环的 61.8
- last-loop KV 缓存让内存开销在长上下文下保持平稳
- 原生 NVFP4 预训练，提供 BF16/MXFP8/NVFP4 检查点，可跑在 DGX Spark 与 Hopper/Blackwell GPU 上
- 直播答疑环节讲解循环次数的收益递减点与在自己任务上评估方法
「模型」频道最新
- DeepMind 发布 Gemini Robotics 2.5:人形机器人自主系蝴蝶结、打包成功率96% — AI_Andrew · 2026-11-13
- Inkling 2 Small 采纳 Kimi 注意力残差机制,作者拆解实现细节 — akbirthko · 2026-11-13
- 爆料称 OpenAI Astra 6 或因对齐问题难产,上线遥遥无期 — haider1 · 2026-11-13
- Claude Fable 5.2 系统提示词遭泄露：95 万字符、128 个工具全曝光 — 新智元 · 2026-11-13
- LatentSpace 首测 Naive-N0.5-Flash：编程反超 DeepSeek，峰值 2100 Token/s — 量子位 · 2026-11-13
- Artificial Analysis 给 Qwen3.8-Flash-Next 打 29 分,介于两大竞品之间 — lionellee77 · 2026-11-13