AirLLM 更新: 4GB 显存可跑 2.8T 参数 Kimi K3
pmttyji · reddit · 2026-08-20
AirLLM 发布更新,大幅降低大模型推理显存占用。新版本支持 Qwen3.8-27B(3.33GB VRAM)和 2.8T 参数的 Kimi K3(3.72GB VRAM),甚至能在 12GB 显存上运行 DeepSeek-V3 (671B)。该工具利用 MoE 模型的逐专家流式加载技术,无需量化、蒸馏或剪枝,即可在消费级显卡上运行超大规模模型。
「Infra」频道最新
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- vLLM 实现 Muse Spark Open Day-0 LoRA RL，AIME 从 0.56 提至 0.85 — vllm_project · 2026-10-16
- Inferact 为 Muse Spark Open 训练 DSpark 草稿模型，一次最多出 7 个 token — vllm_project · 2026-10-16
- Cloudflare Stream WebRTC 低延迟直播正式 GA,可扩展至百万观众 — ritakozlov · 2026-10-16
- YC 孵化 Overshoot 主打推理优化：已帮客户省超 500 万美元 GPU 账单 — ycombinator · 2026-10-16