开源推理库 resin 实战：Claude 4-5 小时接入冷门 Intel HPU，并发近线性扩到 b=16

charles_irl · x · 2026-10-31

ekzhang1 开源的实验性推理库 resin 获得转发盛赞。resin 不是完整推理引擎，而是构建 LLM 推理的积木库：核心是无头 Rust Engine（调度器、KV cache、metrics server），前向传播写成针对硬件的模型 kernel，已获 313 star。一条被高亮的 GitHub issue 里，用户 abotsis 称他在冷门的 Intel/Habana HPU 后端上被 vLLM/vllm.cpp/llama.cpp 的各种限制卡住（graph rebuild、性能崩塌），抱着试试看的心态用 resin，约 4-5 小时让 Claude 把自己的 forward 与 resin 的调度/批处理合并，实现接近线性的并发扩展至 b=16，还白得 templating、缓存等能力。