4 天花 500 美元 token,6 条提示词打造推理引擎性能超 SGLang 15%

IgorCarron · x · 2026-11-15

waterloointern 团队宣布用 AI 编码从零(git init 开始)写出了一个定制推理引擎,花费 4 天和 500 美元 token 成本,性能超过 SGLang 15%。

整个过程只用了 6 条提示词,其中 3 条是「carry on」「proceed」「push to github」。作者指出,为每个新开源模型定制推理引擎已成行业趋势,源头是今年早些时候的 hazy research 的 megakernels、MetaInfer 等一批论文;反传统推理引擎(vLLM/SGLang)的论点是:抽象层(如 Triton vs CUDA、Python 等)必然带来性能开销。