开发者探讨 LORA 推理困局:soft prompts 或单租户 GPU 蜂群是新出路

JoshPurtell · x · 2026-11-18

JoshPurtell 提出 LLM 推理成本优化的三条可能路径:一是真正做好基于 LORA 的推理(可能性日益降低);二是探索 soft prompts、KV cache 类新范式(他指出某个相关仓库方向尚不明朗,但已有不错的早期结果);三是用智能体蜂群(swarms)最大化压满单租户 GPU。回复者补充:自 2022 年后很少听到 soft-prompts,但很看好这个方向——在自动研究 agent 已能将任意配置推到 SOTA 的今天(如 resin、deepseek-ultrafast),没有理由不接受"零惩罚"的自适应推理,即不牺牲批处理与交互性。

所属事件:LLM 推理成本困局:LORA 之外的新解法涌现(2 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →