开发者把 Inkling 2 Mini 移植到 vLLM,双 3090 解码速度飙至约 200 tok/s

peaster_ · reddit · 2026-11-22

Inkling 2 Mini 在 llama.cpp 上开箱仅约 50 tok/s,作者 peaster 借助前沿模型指导,将其移植到 Ampere 架构 GPU 上的 vLLM,使用原始权重无量化,196K 上下文窗口:

开源仓库与详细评测文章已发布,另附与其他 Ampere 移植版的对比。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →