scaling01 实测「循环 transformer」：4B 模型推理分 4 轮从 42.9 升至 52.4
scaling01 · x · 2026-11-13
- 有研究称「把 transformer 循环（looping）比其他提升预训练质量的方式更能增强非 CoT 能力」。
- scaling01 表示这是模型发布后第一件试的事，并晒出自己用 Dory 1.0 4B 在 NCRI/NCKI 基准上跑 1-4 轮循环的结果：推理分从 1 轮的 42.9 升至 4 轮的 52.4（约提升 19 个百分点的解题几率区间），而 leave-one-out 分数保持平稳。
- 属于对论文方法的小型独立复现，附带具体数值。
「研究」频道最新
- 研究：AI 创业融资红利高度集中于北美与中东 — danielrock · 2026-11-13
- MIT 推出结构设计 AI copilot,抗屈曲强度提升 39% 仅多花 15 秒 — Dr_Singularity · 2026-11-13
- Robopedia 发布 Xperience 2：物理 AI 环境与行为数据集标准 — liuziwei7 · 2026-11-13
- 浙大×百度 Agent-R²:4B 小模型靠真实源数据合成超越更大开源基线 — ZhejiangUniversity · 2026-11-13
- BirdDreams 驾驶世界模型:单图联生成视角+鸟瞰视频,车流可响应自车动作 — lealtaixe · 2026-11-13
- Ladish:AI 接管不是魔法,只是预训练+RL 继续规模化的外推 — JeffLadish · 2026-11-13