OpenBMB 发布 DSpark 草稿头,MiniCPM-V 4.7 解码接受长度最高 7.4
NielsRogge · x · 2026-10-17
随 MiniCPM-V 4.7 一同发布的 DSpark 是专为 35B-A3B 目标模型配对训练的投机解码草稿检查点(另有 1B 版本),核心信息:
- 草稿侧仅 5 层、约 3.89 亿参数,每次前向提出 15 个 token,由主模型验证
- 训练用目标模型自生成的 200 万条视觉+文本混合序列,6 个 epoch,损失为 CE + L1 + 置信度
- 实测接受长度:代码 7.39、数学 6.69、MathVista 6.13、CharXiv 5.48、General 3.50
- 保留 V4.6 的 4x/16x 视觉 token 压缩,图像消耗 token 更少
- 已提供 GGUF 与 vLLM 部署配置(含 speculative-config 示例),Apache-2.0 开源
所属事件:OpenBMB 发布 MiniCPM-V 4.7,端侧多模态对标 Qwen3.6(5 条相关)→
「Infra」频道最新
- mrfakename 发布 DeepSeek-V4.1-Flash-1017 GGUF 量化,Q8_0 达 473GiB — realmrfakename · 2026-10-18
- DeepSeek 新模型 4 张 RTX Pro 本地跑出 300 TPS,NVMe 卸载立功 — TheZachMueller · 2026-10-18
- SGLang Summit 赞助商一周从 11 家增至 36 家 — ying11231 · 2026-10-18
- 研究者用智能体检索算法纪录:矩阵乘法指数最早在 5 亿维降到 2.7 以下 — IgorCarron · 2026-10-18
- Dell:内存芯片成 AI 服务器最大瓶颈,明年供应「会更糟」 — firstadopter · 2026-10-18
- NVIDIA 应用默认划走 32GB 内存,64GB 机器跑本地 AI 需手动改设置 — draginol · 2026-10-18