AirLLM：不量化、不裁剪，4GB 显存跑 70B 大模型
techNmak · x · 2026-10-26
AirLLM 是一个 Python 库，让 70B 参数语言模型在单张 4GB GPU 上运行，且不需要量化、蒸馏或剪枝。
它解决的是「可及性」问题：开源大模型越来越大，但把全部权重常驻显存需要高端或多卡硬件。
实现方式：推理时先将原始模型按层拆分保存，避免整个模型同时驻留 GPU 显存；对支持的 MoE 模型更进一步——只流式加载 router 选中的 expert，因为每个 token 通常只用其中一部分专家。
使用上通过 AutoModel 传入 Hugging Face repo ID 即可，支持 Llama、Qwen 等主流模型系列。
「Infra」频道最新
- 砍掉向量数据库换 SQLite BM25,多智能体架构重建的三大教训 — OpenComplaint524 · 2026-10-26
- Gemma 4 26B 在 16GB Mac 离线跑 TypeScript 测试,33/40 分、31 tok/s — Mission-Sir-1614 · 2026-10-26
- 数千张 GPU 如何协同训一个模型：5D 并行拆解 — jbhuang0604 · 2026-10-26
- Stratechery 断言开放互联网进入终局，AI 初创将买不到算力 — tushaarmehtaa · 2026-10-26
- 4 张 DGX Spark 约 2.8 万美元跑 DeepSeek 官方权重：1M 上下文 66 tok/s — ricklamers · 2026-10-26
- Meta 递交 350 亿美元融资文件,另有 600 亿 ATM 计划待启动 — RihardJarc · 2026-10-26