Thinking Machines 开源 Inkling-2-Mini:循环 MoE,26B 参数仅 3.4B 激活
Skyline34rGt · reddit · 2026-11-21
Mira Murati 的 Thinking Machines 在 Hugging Face 开源了 Inkling-2-Mini 权重,这是一个通用多模态模型(文本+图像输入),面向 agent、工具调用、编码助手、RAG 等开发场景。
架构亮点:
- 24 层 decoder-only transformer + 稀疏 MoE 前馈层,总参数 26.2B,每 token 仅激活约 3.4B
- 核心创新是「循环层」:中间 12 层以共享权重跑 3 遍,每 token 相当于 48 层应用;每多循环一次约增加 1.0B 有效激活参数,故实际每 token 有效激活约 5.4B
- 每 token 路由到 128 个专家中的 8 个;注意力为局部+全局混合层;图像经 ViT 编码,与文本投影到共享隐空间联合处理
- 官方描述称「循环让模型多想少写」,该规模下思维过程仍可监控;同时发布了一个可变循环的研究版本供学界研究
适合在笔记本等本地环境运行,是该团队「可控、可研究的循环模型」路线的首个公开成果。
所属事件:Thinking Machines 发布 26B 循环模型 Inkling 2 Mini(111 条相关)→
「模型」频道最新
- 微软开放 USB4 RDMA:多台迷你 PC 拼内存跑 Qwen3-235B — JFPuget · 2026-11-22
- 谷歌 AI Mode 开始设用量上限,用户意外弹出限流提示 — elvano124 · 2026-11-22
- Sol 6.2 开始拒绝逆向工程请求,6.1 却干了一个月 — cardak98 · 2026-11-22
- 一周大事:Anthropic IPO 募资约 810 亿美元,GPT-6.2 定价与 Qwen4-Max 齐发 — ksraj1001 · 2026-11-22
- Reddit 长文抨击:前沿 AI 是在模仿懒惰工程师的「庸才镜子」 — RossPeili · 2026-11-22
- MBZUAI 开源 29B 世界模型 PAN 2:权重代码已上 Hugging Face — LinusEkenstam · 2026-11-22