微调模型推理被忽视:LoRA/KV 范式争论中藏着大机会
JoshPurtell · x · 2026-11-18
Josh Purtell 在推文中提出一个推理服务的范式问题:要么真正解决 LoRA 推理的效率问题(他认为可能性越来越小),要么发展 soft prompts、多租户 KV 共享等新范式(他提到某个早期结果有前景的 repo 但方向未定),要么用 swarm 方式压满单租户 GPU 的负载。
他补充称,现有工作理想情况是让全参微调(FFT)和多租户 KV 都高性能可用;并指出大量人力都在为未经适配的基础模型写 kernel,而认真做微调模型推理优化的空间还很大。
「Infra」频道最新
- 594B 模型跑进两台 DGX Spark:本地 AI 日报披露 37.9 tok/s 实测 — AIFlow_ML · 2026-11-18
- Agent 一次任务几十次模型调用,哪些值得用前沿模型? — samcharrington · 2026-11-18
- 博客详解 TorchTPUs:与 OpenXLA 等旧方案的差异拆解 — algo_diver · 2026-11-18
- Gary Marcus 关注英伟达 10-Q 申报延迟数周,称此异常极不寻常 — GaryMarcus · 2026-11-18
- 台积电查客户账本:超信用额度须付现金才能锁定产能 — SumitGup · 2026-11-18
- Cloudflare Worker 静态资源免费用:单文件 25MB、每版本最多 2 万个文件 — ezshine · 2026-11-18