Inkling 2 Mini 发布:26B 环形架构 MoE,5090 上跑 168 tok/s
ying11231 · x · 2026-11-21
ThinkyMachines 发布 Inkling 2 Mini,回应社区对 Inkling 2 Small(594B)太大的反馈。
- 架构:26B 参数的 MoE(激活 5.4B),采用环形(looped)架构——中间层重复运行 3 次,以小参数量保留接近大模型的深度,可在本地设备运行
- 能力:AA Index 得分 20.1,官方称足以胜任 agentic 任务
- 本地推理优化(SGLang,AgentX 并发 1,p90):RTX Pro 6000 / RTX 5090 达 168 tok/s,DGX Spark 24 tok/s,并原生支持多 GPU 推理
SGLang 团队转发表示已针对本地设备做了大量优化,欢迎社区上手体验。
所属事件:Mira Murati 团队开源 26B 循环模型 Inkling 2 Mini,笔记本可跑(115 条相关)→
「Infra」频道最新
- 微软开放 USB4 RDMA:多台迷你 PC 拼内存跑 Qwen3-235B — JFPuget · 2026-11-22
- LTX 2.5 在 AMD 9070 XT 上频繁驱动超时,只输出灰色无声视频 — ZestycloseReading504 · 2026-11-22
- FT:AI 服务器供应商签约后涨价最高达 45% — nordicinst · 2026-11-22
- World Robotics 2026:中国占全球新装工业机器人 59%,约 35.4 万台 — ingliguori · 2026-11-22
- MLX 经 Vulkan 跑出 124 tok/s,同卡速度反超 CUDA 25% — SumitGup · 2026-11-22
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22