Inkling 2 Mini 在单张 4090 上跑到 117 tokens/s,作者建议弃用 llama.cpp
MerePotato · reddit · 2026-11-22
Reddit 用户分享 Inkling 2 Mini 的本地推理实测:在 4090 上用 vLLM(不开 dspark)拿到 117 tokens/s,上下文拉到 128k 时降至 76 tokens/s。
作者的结论是:如果这个模型在你机器上跑不顺,应该考虑从 llama.cpp 换到 vLLM,速度差别明显。
「Infra」频道最新
- 分析师激辩 Google TPU 归属:押 DeepMind 还是做算力巨头 — vitaliychiley · 2026-11-22
- 亚马逊拟 75 亿美元收购 Decart,几乎是其最新估值的两倍 — rohanpaul_ai · 2026-11-22
- SurrealDB 单条查询每秒扫描超 100 亿行,公开实现细节 — mattturck · 2026-11-22
- 马里兰 1300 兆瓦燃煤电厂退役卡壳:输电线遭环保组织反对 — paulnovosad · 2026-11-22
- Agent 负载不是守规矩的批处理任务:会发散、卡顿、动态变形 — AccBalanced · 2026-11-22
- 一人三天写出 vLLM 提速 120 倍的 tokenizer,自称世界最快 — AccBalanced · 2026-11-22