35B 多模态模型跑进 3GB 内存：MiniCPM-V 4.7 全程离线读懂家电面板
alifcoder · x · 2026-10-17
MiniCPM-V 4.7（35B 总参数、3B 激活）可在约 3GB 内存的手机上完全离线运行，读真实 world 控制面板、理解图像并给出有用回答，无需云端。
实测案例：用户拍摄地下室加湿器控制面板并询问冬季合适设置，模型读出 LCD 显示的 43% 湿度（已在 30–50% 冬季区间内）、读出 1–7 旋钮建议保持 4–5，还注意到底部容易被忽略的 Blower Activation 开关并提醒必须打开。作者归因于 Lookahead Expert Scheduling 技术。
Hugging Face 已上线完整模型家族：35B-A3B 与 1B 两个规格，均提供 GGUF、FP8、GPTQ、AWQ、int4 等量化版本，以及 DSpark 变体。
「Infra」频道最新
- MiniCPM-V 4.7 仅占 3GB 显存，本地跑出 100 tokens/秒 — NielsRogge · 2026-10-17
- AI 算力竞赛的隐形功臣:数据中心电源管理芯片决定能效上限 — Olivier__OG · 2026-10-17
- 本地跑 Qwen3.8-Flash-Next：换全量 FP8 n-gram 表质量明显提升 — sillynoobhorse · 2026-10-17
- 单卡 A100 本地跑 Nemotron 3.5,169 tok/s 处理百份病历仅 2 美分 — MaziyarPanahi · 2026-10-17
- NVIDIA 开源 AIPerf 基准工具 + Triton 官方教程：推理性能测量的两块拼图 — techNmak · 2026-10-17
- Triton 官方 GPU 编程教程：从向量加法到融合注意力 — techNmak · 2026-10-17