jitllm 实现 8 毫秒迁移模型层:推理中途换 GPU 不丢上下文
web3samy · reddit · 2026-10-14
开发者受操作系统与 JIT 编译器启发，打造推理引擎 jitllm：把模型层当作可调度迁移的进程，KV cache 分页并随层一起搬移，无需重新 prefill。
实测数据：
- 2×T4 上 Llama-3.2-3B Q4KM 在生成回复中途从 GPU 0 迁到 GPU 1，仅暂停 8.1ms，重算 token 为 0
- 2×V100 上 1.8k token 对话迁移耗时 20-21ms，同样零重算
- RTX 3050 Ti 笔记本上模型拆分于 CPU、CUDA 与 Vulkan iGPU，生成中重排耗时 91ms
作者认为 JIT 生成内核可让硬件优化普惠所有机器，分页与重定位把「放置」变成「调度」，未来可支持超显存大模型、异构 GPU 与随对话增长的动态负载。代码开源在 GitHub。
「Infra」频道最新
- Runner 实现直接在量化 GGUF 上训 LoRA,免 PyTorch 免 FP16 底模 — ZenZombie117 · 2026-10-14
- 观点：AI竞赛属于能把足够算力上线的人，Meta已靠堆算力追上 — haider1 · 2026-10-14
- GPU 自有化拐点：利用率超 33% 即跑赢混合云，66% 压过 neocloud — AccBalanced · 2026-10-14
- Koboldcpp v1.123 发布，新增 Qwen Image 2.1 支持 — Fcking_Chuck · 2026-10-14
- 推理生意火爆但黑箱:H100 每小时报价 $2.2 到 $8,利用率与毛利无人知晓 — AccBalanced · 2026-10-14
- Hugging Face 推出 Kernel Hub,让计算内核像模型一样分发 — ariG23498 · 2026-10-14