Reddit 长文论断:一次性推理引擎将成为常态,vLLM/llama.cpp 或被边缘化
netherreddit · reddit · 2026-09-30
作者提出一个引起热议的论断:针对单一模型/硬件组合「过拟合」的一次性推理引擎将成为常态,而 llama.cpp、vLLM 等通用引擎会因速度落后被大多数人抛弃。
论证骨架基于三条公理:
- 代码库越小、越不通用,迭代越快;
- AI 编码能力提升让造一个推理引擎的门槛持续下降;
- 「让 tok/s 变高」这类目标完全可规范化,是全自动 AI 编码的理想任务,没有人类瓶颈。
推论:通用引擎在开发速度和 token 速度上会永远落后于一次性引擎;而一次性引擎又无法在保持通用性的同时维持开发速度,于是不断有新引擎涌现又消亡(ninfer、dwarfstar、Splash、llamAmpere、gufo 等)。
延伸思考:
- 推理之外的部分(API、CLI、GUI、benchmark、日志、模型格式)可能走向标准化,存在一个帮助一次性引擎快速接入的开源项目机会;
- 可能出现只针对单一硬件、对模型保持通用的「半通用」引擎;
- 硬件特定社区会围绕具体配置形成。
反面情景:通用引擎若能把模型/硬件特定的 kernel 与计算图插件化(下载模型时附带 .inferencerecipe),或用 AI 大幅加速自身开发流程,这一未来可能不会发生。
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16