Inkling 2 Mini 在单张 4090 上跑到 117 tokens/s,作者建议弃用 llama.cpp

MerePotato · reddit · 2026-11-22

Reddit 用户分享 Inkling 2 Mini 的本地推理实测:在 4090 上用 vLLM(不开 dspark)拿到 117 tokens/s,上下文拉到 128k 时降至 76 tokens/s。

作者的结论是:如果这个模型在你机器上跑不顺,应该考虑从 llama.cpp 换到 vLLM,速度差别明显。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →