M4 16GB 上跑通 MiniCPM5-2B 本地助手:裁剪、适配与实测全记录
面壁智能 · wechat · 2026-09-24
面壁智能「火种说」刊载开发者 Aluka 的实践长文:在 M4 16GB 设备上基于开源框架 OpenHanako(HanaAgent),用 MLX 8bit 量化本地推理 MiniCPM5-2B,并搭配云端 Kimi 处理图片,搭建轻量个人助手。
踩坑与改造要点
- 首次工具调用即出现「多任务并发崩溃」:模型输出 XML 标签与散文正文混写、参数幻觉、执行中断。作者判断这是 2B 模型在系统提示词开销、严格格式对齐与开放文本生成三重压力下注意力预算不足的典型困境。
- 对 OpenHanako 做源码级「大扫除」:裁掉 ComputerUse、多余社交平台接入、多 Agent 协作、图片/视频生成、自动更新等链路,工具面收缩到 11 个基础工具;Skills 改为按需注入名称与描述,用到再读取。
- 编写 MiniCPM XML tool adapter:流式识别 function 边界、解析 param/CDATA、校验函数名与 JSON Schema,转换为标准 toolcalls;系统提示词精简为 5 条硬规则,Kimi 专责 OCR/Vision 转录。
- 给出具体参数:context 16384、temperature 0.2、topP 0.9、topK 40、repetitionPenalty 1.05;MLX 服务限定单请求、prompt cache 3GB、预填充步长 1024。
实测:四季描写串联、读后续写、2026 考研数学一解答、coding 测试均表现良好,对本地 2B 模型而言能力相当强。项目与框架均已开源,可 fork 继续开发。
「编程与Agent」频道最新
- 自研多向量检索模型大幅领先 API 密集检索器,作者求问记忆检索方案 — bo_wangbo · 2026-09-24
- 开源组合 Jev+Treg 重建 Clay:每条线索 0.0089 美元,比 Clay 便宜 85% — rohanpaul_ai · 2026-09-24
- Prime Intellect 开源级发布 Prime Sandboxes:面向大规模 Agent RL 训练 — afurgs · 2026-09-24
- Matt Pocock 的 AI 编程 skills 仓库推进 v1.3:implement-spec、pr、retro 转正 — mattpocockuk · 2026-09-24
- SerpSidekick 推出托管 SEO MCP，Google 登录即用 — s3r3ux · 2026-09-24
- Agent 调多服务时 API 密钥怎么管？生产环境方案引热议 — Glittering812 · 2026-09-24