本地跑 276B 多模态模型实测：32k 上下文显存占用 93GB
MaziyarPanahi · x · 2026-08-01
MaziyarPanahi 分享了在本地运行 Inkling 276BA12B 多模态大模型（3-bit 量化）的真实性能数据。
在默认 1M 上下文下，模型常驻内存达 127GiB；若限制在 32k 上下文则降至 93GiB。模型权重占 91GB，音频编码耗时 575ms，生成回答需 103s。他建议本地运行时最好限制上下文长度。
所属事件:276B多模态模型本地实测：3-bit量化跑通，12B激活反超41B(5 条相关)→
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16