Resin 开源推理运行时:AI 写前向传播即可生成独立推理引擎

VoidAsuka · x · 2026-11-17

Ekaterina (ekzhang1) 发布个人项目 Resin:一个用于构建快速 LLM 推理引擎的运行时。核心思路是把推理中通用的部分(调度、KV 管理、并行等)做成可复用组件,每种模型架构/硬件只需写模型特定的前向传播和 kernel。

构建流程:导入 Resin core → 让 AI agent 为目标模型和硬件(GPU/TPU/AMD)写前向传播与所需 kernel → 得到一个独立的推理引擎。作者花一个月开发,已支持多种特性与并行方案,配图展示了 ModelState 抽象(有状态 API 封装模型特定逻辑,hooks 处理多模态 embedding、attention 元数据、CUDA graph capture 等,支持 diffusion LLM、encoder-decoder)。

vLLM 核心开发者 woosukk 回应:vLLM 正朝同一方向演进,已做了大量模型特定代码隔离工作,也在考虑把更多栈迁移到 Rust,Resin 是有力例证。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →