单卡跑满 256k 上下文：实测 Muse Glimmer 30B 本地部署显存与性能
coder543 · reddit · 2026-08-10
开发者在单张 RTX 3090 上对 Muse Glimmer 30B 模型进行了本地部署实测。结果显示，在使用 Q4KXL 量化、DFlash 以及 mmproj 的情况下，该模型可以完整支持 256k 上下文，显存占用仅约 22-23GB，表现远优于同级别的 Qwen3.6-27B 和 Gemma-4-31B。
性能数据：
- 推理速度在 64 到 124 tok/s 之间（取决于生成代码还是文本）
- Prompt 处理速度可达 1400 tok/s
相比之下，Qwen3.6-27B 在相同显存下使用 Q8 KV cache 仅能支持约 12.5 万 token，而 Muse Glimmer 的优异显存控制使其完全摆脱了对昂贵工作站（如 DGX Spark）的依赖。
所属事件:Meta开源30B模型Muse Glimmer，主打本地智能体(108 条相关)→
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16