开发者把 Inkling 2 Mini 移植到 vLLM,双 3090 解码速度飙至约 200 tok/s
peaster_ · reddit · 2026-11-22
Inkling 2 Mini 在 llama.cpp 上开箱仅约 50 tok/s,作者 peaster 借助前沿模型指导,将其移植到 Ampere 架构 GPU 上的 vLLM,使用原始权重无量化,196K 上下文窗口:
- 双 RTX 3090 上解码约 200 tok/s(216→169 随 prompt 变长),预.fill 约 6,700 tok/s(7,028→5,170),均远超 llama.cpp(解码 50→33,预.fill 697→255)。
- 草稿模型贡献显著:关闭 drafter 144 tok/s,开启后代码输出 223、JSON 输出 306 tok/s。
- 并发下聚合吞吐 8 路并发可达 747 tok/s。
开源仓库与详细评测文章已发布,另附与其他 Ampere 移植版的对比。
「编程与Agent」频道最新
- 开源 Garmin 健康 MCP 服务器:自然语言查询 VO2max、睡眠与训练负荷 — modelcontextprotocol · 2026-11-22
- Stripe MCP 连接器上线:凭 API key 只读访问 Stripe 数据 — modelcontextprotocol · 2026-11-22
- 给远程 MCP 服务器加 OAuth 的六个意外坑:限流失效、agent 攻击面与蜜罐陷阱 — Dheeth · 2026-11-22
- Paperwire 开源:让 AI Agent 收发实体邮政信件、传真甚至支票 — QuixiAI · 2026-11-22
- 一年用 AI 写代码后的真相:省下写码时间,全耗在了验证上 — Positive_Picture-1 · 2026-11-22
- Grok Bot 省用量技巧:让脚本干重复活,Bot 只管判断 — nima_owji · 2026-11-22