团队开源可变循环模型 TML-d24-varloop-research,验证循环层数对 CoT 可监控性的影响

nrehiew_ · x · 2026-11-21

针对「循环 transformers 会恶化 CoT 可监控性」的说法,nrehiew 介绍团队专门训练并开源了 TML-d24-varloop-research:因 Inkling 2 Mini 只支持固定循环次数,新模型在 1 到 5 次循环之间训练,已在 Hugging Face 公开,供研究循环次数对可监控性等属性的影响。

他还补充:发布的模型只用了训练量的 1/3,团队对其剪枝后又用 1T token 继续训练(对这种规模的模型来说是相当大的量),暗示还有更大的「internal inkling」计划。

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →