实测推翻「需 32GB Mac」:Inkling 2 Mini 在 24GB M5 Pro 上流畅运行
muradylan · x · 2026-11-22
muradylan 在讨论 inkling mini 本地推理时附出实测图表:Thinking Machines 的 Inkling 2 Mini(26.4B 开源权重)号称「需要 32GB Mac」,但实际在 24GB 统一内存的 MacBook Pro M5 Pro 上即可运行。同一模型、两种运行时的对比:MLX 3-bit 短提示 37 tok/s,4K 上下文 31.8,16K 上下文 27.7;llama.cpp GGUF(Q3KXL 17.7、IQ4XS 16.6)慢约一倍——因为 GGUF 用 NVFP4,Metal 无法计算,最大层回退 CPU。16K 上下文下 MLX 3-bit 峰值内存仅 16.4GB。配置:reasoning effort low/medium,512-token prefill chunks,1000+ 输出 token。批量任务建议保持低 reasoning effort。
所属事件:实测:24GB M5 Pro 可流畅运行 Inkling 2 Mini,MLX 快于 llama.cpp(2 条相关)→