DeepSeek 耗时 50 分钟为 Kimi 写出 Metal 内核

technaturalism · reddit · 2026-08-09

一位开发者在 Mac Studio (512GB) 上运行量化版的 DeepSeek 模型时，因在 GitHub 上找不到适用于 Unsloth 的 Kimi K2/K3 极低比特量化版本的现成 Metal 内核，遂让模型自行编写。

模型在约 50 分钟内成功编写了一个自定义的 Metal kernel。实测性能虽然一般，但远好于纯 CPU 计算，在 K3 Q10 量化下实现了约 4 t/s 的解码速度和 20 t/s 的 prefill 速度。作者对模型在极低比特量化下展现出的编码能力表示惊叹。