开发者探讨 LORA 推理困局:soft prompts 或单租户 GPU 蜂群是新出路
JoshPurtell · x · 2026-11-18
JoshPurtell 提出 LLM 推理成本优化的三条可能路径:一是真正做好基于 LORA 的推理(可能性日益降低);二是探索 soft prompts、KV cache 类新范式(他指出某个相关仓库方向尚不明朗,但已有不错的早期结果);三是用智能体蜂群(swarms)最大化压满单租户 GPU。回复者补充:自 2022 年后很少听到 soft-prompts,但很看好这个方向——在自动研究 agent 已能将任意配置推到 SOTA 的今天(如 resin、deepseek-ultrafast),没有理由不接受"零惩罚"的自适应推理,即不牺牲批处理与交互性。
所属事件:LLM 推理成本困局:LORA 之外的新解法涌现(2 条相关)→
「Infra」频道最新
- 594B 模型跑进两台 DGX Spark:本地 AI 日报披露 37.9 tok/s 实测 — AIFlow_ML · 2026-11-18
- Agent 一次任务几十次模型调用,哪些值得用前沿模型? — samcharrington · 2026-11-18
- 博客详解 TorchTPUs:与 OpenXLA 等旧方案的差异拆解 — algo_diver · 2026-11-18
- Gary Marcus 关注英伟达 10-Q 申报延迟数周,称此异常极不寻常 — GaryMarcus · 2026-11-18
- 台积电查客户账本:超信用额度须付现金才能锁定产能 — SumitGup · 2026-11-18
- Cloudflare Worker 静态资源免费用:单文件 25MB、每版本最多 2 万个文件 — ezshine · 2026-11-18