MiniCPM-V 4.7 端侧跑出 100 tok/s,仅占约 3 GB 显存
NielsRogge · x · 2026-10-20
OpenBMB 发布多模态端侧模型 MiniCPM-V 4.7,可在约 3 GB 内存下本地运行,速度达 100 tokens/s。
NielsRogge 演示了如何用 llama.cpp 的 Web UI 跑通该模型,展示了其在消费设备上部署多模态 AI 的可行性,端侧实用门槛进一步降低。
「Infra」频道最新
- idle GPU 别闲着：CoreWeave 方案让 agent 自动排队做研究 — _ScottCondron · 2026-10-20
- 曝华为 960DT 算力 2027 年大部分供给 DeepSeek 超级集群 — teortaxesTex · 2026-10-20
- €550 二手工作站装双 3060 跑 MoE,求社区排查配置坑 — ElekDn · 2026-10-20
- NVIDIA GTC Berlin 10 月 21 日开幕，黄仁勋主题演讲现场直播 — IanAndrewsDC · 2026-10-20
- 美国 DOE 押注自主实验室，电网互联成 AI 扩张瓶颈 — ingliguori · 2026-10-20
- FlashMap 流图推测解码：单次前向起草整块 token，Qwen3-8B 提速超 6 倍 — kalyan_kpl · 2026-10-20