老 Xeon 跑 26B 模型
neomindryan · hn · 2026-07-15
文章展示了在一台 **13 年前的 Xeon、没有 GPU** 的机器上运行 **Gemma 4 26B**，并实现了大约 **5 tokens/s** 的速度。 重点在于低配硬件上的可行推理：作者用这篇博客说明，大模型并不一定只能依赖现代 GPU 才能跑起来。
neomindryan · hn · 2026-07-15
文章展示了在一台 **13 年前的 Xeon、没有 GPU** 的机器上运行 **Gemma 4 26B**，并实现了大约 **5 tokens/s** 的速度。 重点在于低配硬件上的可行推理：作者用这篇博客说明，大模型并不一定只能依赖现代 GPU 才能跑起来。