NVIDIA 开源 4B 循环 Transformer 模型 Dory,可按需循环推理
Sam Witteveen · youtube · 2026-11-02
Sam Witteveen 实测了 NVIDIA 新发布的 Nemotron Labs Dory,一个 4B 参数的循环 Transformer 模型,权重已在 Hugging Face 开源。
视频覆盖了:
- 循环 Transformer 的原理:模型可在 1、2、4 次循环间切换,按任务难度动态分配计算量
- KV cache 机制:per-loop 与 last-loop 两种方案的差异
- 基准对比:与 Gemma 4 26B 等模型跑分,展示 Dory 的胜负场景
- 部署演示:包括 Loop Race demo 与实际部署流程
这类「同一模型、可变计算步数」的思路是提高小模型性价比的一个值得关注的方向。
「模型」频道最新
- OpenAI 合并 ChatGPT 聊天与 Work 标签页,Codex 与聊天共享用量池 — TechCrunch AI · 2026-11-02
- Reddit 用户吐槽 Gemini Argon 不如上代:指令遵循差、连音频转写都失败 — PreparationOdd430 · 2026-11-02
- 开发者警告:勿买 LLM 年付套餐,厂商正悄悄缩水额度 — HankYeomans · 2026-11-02
- KVARK Sparkle 1.0 开源:基于 Qwen3.8-27B,思考 token 减少 67%、响应快一倍 — dzulajla98 · 2026-11-02
- Black October 十天 129 起网络攻击,开放模型安全担忧升温 — Afinetheorem · 2026-11-02
- 传闻称 Qwen 4 将是阿里最后一个开源权重模型 — Chemical_Hawk_6307 · 2026-11-02