实测:24GB M5 Pro 可流畅运行 Inkling 2 Mini,MLX 快于 llama.cpp

在关于 Inkling 2 Mini 本地推理方案的讨论中,用户 muradylan 分享 Apple Silicon 实测:其 M5 Pro 上用 MLX 运行该模型比 llama.cpp 快约一倍。Thinking Machines 的 Inkling 2 Mini 为 26.4B 参数开源权重模型,号称「需要 32GB 内存」的 Mac,但实测图表显示 24GB 的 M5 Pro 即可流畅运行,推翻了官方建议门槛。

2026-11-22 ~ 2026-11-22 · 2 条相关