TestingCatalog 详解 Inkling 2 Mini:中间层循环三次、NVFP4 原生训练、剪枝后蒸馏恢复
testingcatalog · x · 2026-11-21
Thinking Machines 发布开源权重模型 Inkling 2 Mini,权重已上线 Hugging Face,并可通过 Tinker 推理与微调。技术要点:
- 架构:looped transformer,24 层中中间 12 层每 token 循环三次;MoE 总参数 26.4B、活跃 3.4B,计入循环后每 token 激活 5.4B 权重;AA Index 20.1,主打本地 agentic 工作。
- 精度:大部分权重以 NVFP4 原生训练与部署,最后四层 MXFP8,无量化损失,完整体积约 20GB;团队在飞机上于 MacBook Pro 离线运行,几分钟内构建出可玩的飞行模拟器。
- 剪枝与恢复:训练初期稀疏度为 48(384 选 8 专家),midtraining 时剪掉三分之二专家、每层保留使用最多的 128 个;随后用从更大的内部 Inkling 模型蒸馏的 1T token 训练恢复剪枝前的性能。
- 后训练:SFT 后进行总计 2.2T token、2000 步的 RL,含 on-policy distillation。
- 生态:SGLang、vLLM、Ollama、Unsloth、NVIDIA Dynamo、TokenSpeed 首日支持推理;SkyRL、Miles、NVIDIA AutoModel 支持 RL 微调。
所属事件:Thinking Machines 发布 26B 循环 Transformer Inkling 2 Mini,笔记本可跑(115 条相关)→
「模型」频道最新
- Tesla FSD 15 曝光实时内部视觉:AI 自己生成的合成世界观 — mark_k · 2026-11-22
- Gemini 黑五半价实测:日区付款年付 Pro 仅 $91.54 — huangyun_122 · 2026-11-22
- 微软开放 USB4 RDMA:多台迷你 PC 拼内存跑 Qwen3-235B — JFPuget · 2026-11-22
- 谷歌 AI Mode 开始设用量上限,用户意外弹出限流提示 — elvano124 · 2026-11-22
- Sol 6.2 开始拒绝逆向工程请求,6.1 却干了一个月 — cardak98 · 2026-11-22
- 一周大事:Anthropic IPO 募资约 810 亿美元,GPT-6.2 定价与 Qwen4-Max 齐发 — ksraj1001 · 2026-11-22