团队用 Zig+Metal 自写引擎跑 Inkling 2 Mini,解码快过 MLX
viksit · x · 2026-11-23
开发者 @rachpradhan 宣布,团队用 Zig + Metal 从零编写了一个推理引擎(不用 MLX、模型侧无 Python),在同一台 Mac 上运行 Thinking Machines 的 Inkling 2 Mini,解码速度快于 MLX 和 exo,核心是其自写的 megakernel。帖中还预告 @thinkymachines 的 Inkling-small-2 即将发布。
「Infra」频道最新
- 26B 本地模型 Inkling 2 Mini 发布,有人用它重造 Apple Notes — simonguozirui · 2026-11-23
- 1.5 人一周用 300+ 个 Agent 搭出每秒 1200 次创建的沙箱平台 — _arohan_ · 2026-11-23
- Context Layer 不违背苦涩教训:LLM 时代的索引本质是数据搬运经济学 — CShorten30 · 2026-11-23
- WASM Linux Runtime 作者揭秘:非模拟方案重写内核 ABI — OwariDa · 2026-11-23
- 开发者用 Claude 35 分钟从 Vercel 迁移到 Cloudflare,月费 70 美元降至 10 美元 — aloncarmel · 2026-11-23
- 单卡 V100 实测:同权重换推理引擎,速度差最高 5 倍 — PuzzleheadedArm3732 · 2026-11-23