256 token 软提示替代全参 RL,可即插即用组合且几乎无推理开销
xwang_lk · x · 2026-11-19
- 提出可组合软提示蒸馏(CSPD):从各 RL 后训练专家模型蒸馏出 256 token 的软提示(约占参数 0.01%),可直接拼接到冻结的 pre-RL 学生模型上,效果追平全参数 RL。
- 即插即用组合:分别训练的软提示无需联合训练即可堆叠使用,组合后甚至超过单独的专家模型,告别 MOPD(多专家路由)。
- 其他优点:OOD 泛化更好、几乎不遗忘,推理开销接近零,甚至可以每个请求挂不同提示,天然适合个性化场景;图中还显示其在并发请求下输出吞吐达 backbone 的 2.40 倍(对比 LoRA rank-4)。
「模型」频道最新
- Gemini 命名太乱,Charlie Guo 让 Codex 画了张梳理图 — chongdashu · 2026-11-19
- Anthropic 称 Claude 内部提速超 GPT,网友质疑数据可信度 — ziv_ravid · 2026-11-19
- NVIDIA 上架 Qwen3.8-27B 的 NVFP4 量化版权重 — coder543 · 2026-11-19
- 发布近两月,Opus 5.5 高推理档仍被评最佳模型 — kimmonismus · 2026-11-19
- Gemini 4 Neon 冲上 Agent Arena 第二,DeepMind 发布间隔已缩至 6 天 — lmthang · 2026-11-19
- Theo 一年前毒舌模型排名,如今独赞神秘模型 Neon — vivnat · 2026-11-19