逆向 Inkling 2 Mini 循环机制:一个向量决定模型跑几轮循环
naftalinus · reddit · 2026-11-23
博主深挖 Inkling 2 Mini(26B looped transformer)的内部机制后发现:
- Mini 的中间 12 层对每个 token 循环运行三次,模型通过跨 pass 传递向量中的某个方向来判断自己处于第几轮
- 给该向量做加法,可让 Mini 多跑第 4 轮:4 表查找谜题准确率从 34% 升到 74%
- 做减法则可在 2 轮后提前停止:困惑度从 18.0 降到 11.1
- 不做干预时,Mini 只在 3、6、9 轮表现好,中间轮数很差(如第 4 轮困惑度从 10.5 恶化到 15.2)
作者发布了带交互图表的完整分析文章,揭示了 looped transformer 中 pass 计数向量的存在及其可操控性,对理解自适应计算深度有直接参考价值。
「研究」频道最新
- 基础模型 log 困惑度被指极强预测 Epoch 与 OpenAI 能力指标 — stochasticchasm · 2026-11-23
- 研究者:RL 中用 ECHO 类 SFT 损失可免受「仅诱出能力」质疑 — stochasticchasm · 2026-11-23
- theshawwn 提议:人写高层证明,AI 补全引理细节 — theshawwn · 2026-11-23
- Claude 补充证明压缩思路:Lean blueprints、Lamport 结构化证明与 Gödel 加速定理 — theshawwn · 2026-11-23
- 两人实验室 GSI 宣布八大领域 250+ 突破:不堆算力,靠专用求解器 — udmrzn · 2026-11-23
- Geoffrey Irving:统计物理可为对齐研究提供新思路 — AndrewCritchPhD · 2026-11-23