MOSS-VL 推出量化版本,24GB 显存即可本地跑多模态
huggingface · x · 2026-08-12
OpenMOSS 团队发布了 MOSS-VL 系列模型的 FP8 和 NF4 量化版本,涵盖图像、视频及实时流媒体理解能力。其中,MOSS-VL-Instruct 针对本地推理和批处理优化,MOSS-VL-Realtime 专为摄像头和直播等连续视频分析设计。经量化后,模型可在 24GB 显存下稳定运行,大幅降低了本地部署多模态大模型的硬件门槛。
「Infra」频道最新
- 算力抵押成新赛道？Silicon Data 获 3050 万美元 A 轮融资 — dinabass · 2026-08-12
- Mac Studio浏览器跑30B大模型达32 tok/s，本地AI性能惊艳 — MaziyarPanahi · 2026-08-12
- 企业级本地 AI 算力舱设计：单舱 32 GPU 即插即用 — dee_hw · 2026-08-12
- 长江存储相关基金投资中国芯片替代制造路线 — pstAsiatech · 2026-08-12
- AI 数据中心需要伪装成维多利亚时代建筑吗？ — david_stillwell · 2026-08-12
- 低于2-bit量化最佳方法？QTIP之外还有哪些论文值得读？ — Aggravating-Push-207 · 2026-08-12