微调模型推理被忽视:LoRA/KV 范式争论中藏着大机会

JoshPurtell · x · 2026-11-18

Josh Purtell 在推文中提出一个推理服务的范式问题:要么真正解决 LoRA 推理的效率问题(他认为可能性越来越小),要么发展 soft prompts、多租户 KV 共享等新范式(他提到某个早期结果有前景的 repo 但方向未定),要么用 swarm 方式压满单租户 GPU 的负载。

他补充称,现有工作理想情况是让全参微调(FFT)和多租户 KV 都高性能可用;并指出大量人力都在为未经适配的基础模型写 kernel,而认真做微调模型推理优化的空间还很大。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →