Resin 开源推理运行时:AI 写前向传播即可生成独立推理引擎
VoidAsuka · x · 2026-11-17
Ekaterina (ekzhang1) 发布个人项目 Resin:一个用于构建快速 LLM 推理引擎的运行时。核心思路是把推理中通用的部分(调度、KV 管理、并行等)做成可复用组件,每种模型架构/硬件只需写模型特定的前向传播和 kernel。
构建流程:导入 Resin core → 让 AI agent 为目标模型和硬件(GPU/TPU/AMD)写前向传播与所需 kernel → 得到一个独立的推理引擎。作者花一个月开发,已支持多种特性与并行方案,配图展示了 ModelState 抽象(有状态 API 封装模型特定逻辑,hooks 处理多模态 embedding、attention 元数据、CUDA graph capture 等,支持 diffusion LLM、encoder-decoder)。
vLLM 核心开发者 woosukk 回应:vLLM 正朝同一方向演进,已做了大量模型特定代码隔离工作,也在考虑把更多栈迁移到 Rust,Resin 是有力例证。
「编程与Agent」频道最新
- 用 LangGraph 重建六 agent 医疗管线,替代医院每年 150 万美元系统 — MaryamMiradi · 2026-11-17
- 美团等发布 AutoRL:多智能体自动督导 RL 训练,Qwen3 AIME 提 20 分 — omarsar0 · 2026-11-17
- 从 2300 个插件中精选:9 个值得周末上手实测的 Hermes Agent 插件 — Teknium · 2026-11-17
- 蚂蚁 Ling 团队论文:调度优化让 agent 评测批完成时间最多缩短 65% — dair_ai · 2026-11-17
- 「有 jumbo 还开什么甲壳虫」:本地 vs 云端 coding agent 之争又起 — intellectronica · 2026-11-17
- Cloudflare Artifacts 仓库支持本地调试:wrangler dev 可创建、fork 与 push — dinasaur_404 · 2026-11-17