Godot 里直接跑 Gemma 4
toxicdog · reddit · 2026-07-13
作者把 `gemma-4-E2B-it-Q4_K_M.gguf` 直接跑进了 Godot 4.7 项目里，目标是验证 **不用 llama.cpp、Python、服务器或 GDExtension** 也能在引擎内本地跑 LLM。 实现方式是： - **Vulkan compute shaders** 负责模型计算 - **GDScript** 负责 GGUF 加载、tokenization、采样、KV cache 和聊天 UI 这个实验目前只支持这一种模型，而且性能大约比带 CUDA 的 llama.cpp **慢 10 倍**，作者也明确说它只是一个“能做到”的实验。但它证明了：用 Godot 本身就可以把一套本地 LLM 推理链路拼出来。