团队用 Zig+Metal 自写引擎跑 Inkling 2 Mini,解码快过 MLX

viksit · x · 2026-11-23

开发者 @rachpradhan 宣布,团队用 Zig + Metal 从零编写了一个推理引擎(不用 MLX、模型侧无 Python),在同一台 Mac 上运行 Thinking Machines 的 Inkling 2 Mini,解码速度快于 MLX 和 exo,核心是其自写的 megakernel。帖中还预告 @thinkymachines 的 Inkling-small-2 即将发布。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →