本地运行大模型的极限优化技巧

PMinervini · x · 2026-07-18

作者在讨论中分享了在有限硬件下运行大模型的实用技巧组合：使用 2-bit 量化、SSD 流式加载以及自定义 kernel 等方法，可以有效突破显存瓶颈并推进运行极限。