TensorSharp支持Vulkan后端
fuzhongkai · reddit · 2026-07-06
作者为其TensorSharp项目发布了GGML Vulkan后端初始版本(借助外部GGML项目实现),已在Nvidia RTX 3080笔记本GPU和Intel UHD显卡上测试通过,AMD显卡待社区验证。基准对比显示:在Gemma 4 12B上其decode吞吐比llama.cpp的Vulkan后端快1.18倍;原生Vulkan后端将在后续版本实现。
fuzhongkai · reddit · 2026-07-06
作者为其TensorSharp项目发布了GGML Vulkan后端初始版本(借助外部GGML项目实现),已在Nvidia RTX 3080笔记本GPU和Intel UHD显卡上测试通过,AMD显卡待社区验证。基准对比显示:在Gemma 4 12B上其decode吞吐比llama.cpp的Vulkan后端快1.18倍;原生Vulkan后端将在后续版本实现。