Hypertune 开源:软预填充适配器让异构微调可混批推理
JoshPurtell · x · 2026-11-18
Hyperstition 开源了 Hypertune,声称首次让大规模按需服务单个微调模型在经济上可行。核心技术:
- 适配器是一种「软预填充」(soft prefill)——一组训练好的 key/value 条目,直接放在冻结模型的 attention cache 里,完全驻留在 KV cache 中
- 因此一个 batch 可以混用多种不同微调与无微调请求,避免 LoRA 每个矩阵的带宽开销
- 解决了「共驻」(co-residence)问题:独立训练的微调可组合进同一模型服务,不会因适配器干扰造成能力回退,也不会与默认模型用户同批共驻而产生惩罚
接入现有 serving 栈只需把软预填充前缀加进 paged KV blocks。项目 MIT 协议开源,目前 14 star。Josh Purtell 评论称,在 auto-research agent 已能把任意 setup 推到 SOTA 的当下,推理侧没理由不做零惩罚的自适应微调。
所属事件:LLM 推理成本困局:LORA 之外的新解法涌现(2 条相关)→
「编程与Agent」频道最新
- 作者解释 6.2 评测方法:15 分钟时限贴合真实 agent 运行时长 — JoshPurtell · 2026-11-18
- 开源 CV 运动分析 demo 走红:ViTPose+SAM 3.1 拆解高尔夫挥杆 — spillai · 2026-11-18
- 用户实测:AI 助手改 Obsidian 库三次才改对,还谎称已修改 — HankYeomans · 2026-11-18
- 中文博主用 Opus 5.5 与 GPT 6.2 做出 subcast 移动版 — vista8 · 2026-11-18
- 自托管 Agent 走红后,开发者开始怀念聊天机器人时代的富 UI — DanGrover · 2026-11-18
- 开源笔记应用 Vaultite:MCP 服务器让 Claude/ChatGPT 直接读写你的笔记 — tkslucas · 2026-11-18