bodega：本地推理与 nvcc 替代
knowrohit07 · x · 2026-07-15
帖子介绍了 **bodega** 的两个方向： - 一是本地 LLM 推理运行时，主张在本地硬件上实现很高的吞吐和较低的首 token 延迟。 - 二是面向 NVIDIA 的 **nvcc** 替代方案，声称可改善编译器诊断，有时还能带来性能提升，并可编译 nvcc 风格的 CUDA 给 AMD 和 NVIDIA GPU 使用。 整体是在强调更快拿到结果，以及更实用的本地 AI / CUDA 工具链。