AirLLM 逐层加载：2.8 万亿参数模型宣称跑进 4GB 显存

Aiden_Tech_Ai · x · 2026-10-16

• 开源工具 AirLLM 不一次性加载整个模型，而是逐层处理：显存占用只取决于单层大小而非全模型，无需量化、蒸馏或剪枝。
• 宣称效果：DeepSeek V3（671B）仅需 12GB 显存、Llama 3.1 405B 需 8GB、所谓 2.8 万亿参数模型不到 4GB。
• 关键原理是稀疏 MoE：只加载每个 token 激活的专家而非整个稠密层，因此超大稀疏模型反而比 70B 稠密模型更省显存。注意帖中「Kimi K3 2.8T」等说法未经官方证实，实际可用性需自行验证。

原文链接 →

「Infra」频道最新

• Artificial Analysis 首测 Vera Rubin NVL72:每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
• Vera Rubin NVL72 实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
• 英伟达 Vera Rubin NVL72 首批实测：每兆瓦吞吐最高达 GB300 的 5.7 倍 — ArtificialAnlys · 2026-10-16
• Turing Post 盘点 2026 年 14 款开源 LLM 可观测性工具 — TheTuringPost · 2026-10-16
• 本地 AI 不是隐私功能而是路由问题：任务该跑在笔记本、内网还是云端 — bigdata · 2026-10-16
• 把 Agent 工作从 GPU 挪回 CPU，让动作更持久可预测 — cramforce · 2026-10-16

更多「Infra」频道 AI 资讯 →