4GB显存跑70B推理

lyogavin · github · 2026-07-18

AirLLM 主打 **在单张 4GB GPU 上跑 70B 推理**。仓库主题覆盖 open-models、open-source-models、lora、qlora 等，重点是让大模型在极低显存条件下可用。