Claude 花两天重写 vLLM：代码能跑但已成维护噩梦

bingxu_ · x · 2026-10-23

bingxu 展示 int21ai 用 AI 生成整套 Rust 推理引擎的难度，并配了一张 Gregory Dianos 的 LinkedIn 帖截图：Claude 连跑两天重新实现 vLLM、Megatron-core 和 ScalarLM，Dianos 逐行读完全部代码后列出问题清单——ENV 变量满天飞、随手把 malloc 重实现塞进单个文件、15 个新原型内核无组织地丢进主目录、自造装饰器绕开 MLIR 类型系统、三种 matmul 实现散落各处用于不同测试机器。

他的结论：再跑一个月会「耗时长、进展更远、但若没人读代码就是不可维护的噩梦」，所以「软件工程要完」的报告为时过早——也许该被推平的是过去十年堆积的 SaaS slop，仍然需要在意结果的人。原帖同时宣称该 Rust 推理工厂在超快模式下于 20+ 模型上超越 vLLM 和 SGLang，DeepSeek v4.1 Flash 推理超 1700 tokens/s。