牛人把 SIMT GPU 塞进 Qwen 权重:45 层编译内核逐 token 自己写 CUDA

ccerrato147 · x · 2026-11-02

开发者 TheVixhal 发布了名为 qwenGPU 的项目:在 Qwen3.5-2B 的权重里塞进一个 SIMT GPU——45 层编译好的内核排在 Qwen 自有层之前,利用其 Gated DeltaNet 层充当寄存器与内存。

这个「权重中的 GPU」在 forward 阶段运行真实 CUDA:宿主机先把内核编译成 PTX 并加载,再由模型自己逐 token 生成每一次 launch 的全部步骤——寄存器分配、分支、内存写入都由模型写出。硬件规格:4-lane warp、4 级流水线、每 lane 15 个寄存器、126 词全局内存,全部保存在 DeltaNet 状态中。