Inkling 2 Mini 在 RTX 5090 上用 vLLM 跑出 200 tok/s
VoidAsuka · x · 2026-11-22
开发者 @gaunernst 分享实测:在 RTX 5090 上用 vLLM 运行 Inkling 2 Mini 模型,开箱即得 200 tokens/秒的生成速度,并原生支持 NVFP4 量化。其思维链相比 Qwen 更简洁流畅,第一印象体验顺滑。转帖者戏称这是「逃离永久底层」的福利。
「Infra」频道最新
- Reddit 网友乐观预言:廉价 GPU 回归只是时间问题 — ridhwanss · 2026-11-22
- AI 设计师断言本地 LLM 被高估:M3 Max 128GB 也追不上云端 — AIandDesign · 2026-11-22
- 一个 AI 泡沫寓言:发债、私募信贷、保险年金后的崩塌剧本 — Svwang1 · 2026-11-22
- 单张 RX 7900 XTX 跑 524k 上下文:自研引擎比 llama.cpp 快 3 倍 — W61k3r · 2026-11-22
- 图解 GPU 线程调度:从 kernel 启动到硬件执行的完整链路 — blaizedsouza · 2026-11-22
- 平头哥估值或超800亿美元,与昆仑芯同赴资本市场对决 — 创业邦 · 2026-11-22