NVIDIA 开源 Dory1.0-4B：推理时自由调节模型思考深度

lmoroney · x · 2026-10-20

Laurence Moroney 撰文解析 NVIDIA Nemotron Labs 发布的 Dory1.0-4B——一个可在推理时选择「思考深度」的循环（looped）模型：- 结构：8 层输入 + 20 层共享循环块 + 8 层输出，循环块被重复执行多次，每次循环都重新注入输入；- 深度拨盘：运行时选 14 次循环，同一权重同一文件，简单任务（如分类）用 1 圈省算力，难的编码任务用 4 圈加深思考，无需重训练或换模型；- 定位为「弹性推理算力」：单一 checkpoint 服务不同算力预算；- 作者还讨论了 KV cache 的内存问题（通常循环模型每圈都存缓存会导致内存增长）以及部署到 agent 前应实测哪些指标。