Inkling 2 Small 架构曝光：594B 总参 17B 激活，RL 消耗近半预训练算力
teortaxesTex · x · 2026-11-08
ahatamiz1 发布对 Inkling 2 Small 的详细笔记，teortaxesTex 转推称这是信息量最高的部分。
架构
- 48 层 decoder-only transformer，总参数 594B，每 token 激活 17B
- 稀疏 MoE 前馈骨干：384 个专家中每 token 路由到 8 个
- Attention 混合局部与全局层（未披露窗口大小与比例）
- 上下文窗口最高 1M tokens
- 重新引入 ViT，作者推测是为训练效率
训练预算
- 预训练用 8.4T + 3.8T = 12.2T tokens，RL 阶段用 3T tokens
联合 RL 细节（配图）
- 每个优化器 step 耗时 12 分钟、消耗 2.8B rollout tokens；策略陈旧度中位数为 17 次更新（约 3.4 小时延迟）
- 平均 rollout 长 170K tokens；p99 rollout 达 1.5M tokens，在 256K 窗口内单条 episode 上下文压缩 5 次以上
- 各任务平均 rollout 长度：coding ≈290K、web/app ≈260K、office ≈250K、STEM ≈185K、search ≈120K、vision ≈37K、tool-use ≈23K、chat/safety ≈4K——coding episode 平均超出 256K 窗口，压缩是默认操作
- RL 消耗的 FLOPs 约为 8.4T 预训练阶段（H1）的近一半，但 wall-clock 约为 3 倍
- RL 期间 effort level 随机采样并作为模型条件输入
「模型」频道最新
- 博主推测 Anthropic 新模型全系蒸馏，Opus 5.5 疑为内部模型 2 早期版 — haider1 · 2026-11-08
- 斯坦福教授评权重空间编辑论文：方法已获多方复现，但适用边界仍不明 — anshulkundaje · 2026-11-08
- Jev 按十亿 token 计价，百万 token 成本几乎为零 — HanchungLee · 2026-11-08
- 开源模型写代码越来越惜字如金:12 模型实测填充词减少 25–50% — thesephist · 2026-11-08
- Claude Opus 5.5 清理磁盘时建议删掉整个 ~/.codex/sessions 目录 — keunwoochoi · 2026-11-08
- Polymarket 开出 Claude 6 发布盘口：明年 3 月前概率仅 39% — Polymarket · 2026-11-08