MiniCPM-V 4.7 仅占 3GB 显存，本地跑出 100 tokens/秒
NielsRogge · x · 2026-10-17
Niels Rogge 演示用 llama.cpp 在本地运行 OpenBMB 新发布的多模态模型 MiniCPM-V 4.7，仅需约 3GB 内存即达到 100 tokens/秒的生成速度，并附完整教程线程（通过 llama.cpp 的 Web UI 聊天）。该系列提供 35B-A3B 与 1B 等多个版本，主打端侧多模态 AI。
所属事件:OpenBMB 发布 MiniCPM-V 4.7，端侧多模态对标 Qwen3.6(5 条相关)→
「Infra」频道最新
- 免刷写改 RTX 50/40/30 系 VBIOS，可解锁 5090 功耗与电压 — panchovix · 2026-10-17
- Perplexity 本地决策模型 Flash 实测：准确率持平，速度快近一倍 — WolframRvnwlf · 2026-10-17
- Mac LLM 计算器：算准你的 Apple Silicon 能跑哪个模型多快 — shauntrennery · 2026-10-17
- llama.cpp 新 PR:低比特量化 CUDA MMVQ 获大幅提速 — jacek2023 · 2026-10-17
- 印度全国仅约 3 万块 GPU,专家称建前沿模型算力缺口达 10-20 倍 — CatAstro_Piyush · 2026-10-17
- AI 算力竞赛的隐形功臣:数据中心电源管理芯片决定能效上限 — Olivier__OG · 2026-10-17