Inkling 2 小杯版细节曝光：594B 参数 17B 激活，ViT 回归
thoma_gu · x · 2026-11-08
作者 ahatamiz1 发布 Inkling 2 Small 的技术笔记，giffmana 转发并点评「ViT is back」：
- 架构：48 层 decoder-only Transformer，总参数 594B、激活 17B；稀疏 MoE 前馈骨干，每 token 路由到 384 个专家中的 8 个；注意力为局部+全局混合层；上下文窗口最高 1M tokens。
- 视觉编码变化：Inkling 1 采用 encoder-free 方案（40×40 像素 patch 经 4 层 hMLP 编码）；Inkling 2 改回 292M 参数 ViT 编码器，20×20 像素 patch 配 2×2 空间池化，与文本 token 交错——同样 token 预算但换了 embedder。giffmana 认为当初 encoder-free 的 hMLP 并非好主意，很高兴他们改正。
- 训练预算：预训练 8.4T + 3.8T 共 12.2T tokens，另有 3T tokens 用于 RL，SFT 仅作小型 bootstrap。
所属事件:Inkling 2 Small 架构细节曝光：594B 参数 17B 激活(2 条相关)→
「模型」频道最新
- 开发者怒批 Anthropic:模型频繁变动,专业人士无法依赖 — ryunuck · 2026-11-09
- ChatGPT 的 YOLO 模式疑似被并入 Approve for me 选项 — DevDminGod · 2026-11-09
- 网传 Kimi 路线图：K3 Flash 年底接棒,K4 将扩至 5.4 万亿参数 — Terminator857 · 2026-11-09
- Nace 发布 Drex Max v1.1,决策模型登顶 AA 指数 — m4rkGS · 2026-11-09
- Polymarket 开盘：年底前中国公司登顶顶级 AI 模型概率仅 7% — Polymarket · 2026-11-09
- 传阿里 Qwen 4 今日发布,CTO 称本周内亮相且或有惊喜 — kimmonismus · 2026-11-09