加 <|im_end|> 向量做 steering,让 Qwen3-8B 不再废话
Sauers_ · x · 2026-11-19
作者展示了一个简洁的激活 steering 实验:向 Qwen3-8B 的第 18 层残差流注入结束符 <|imend|> 的 unembedding 向量,可以显著抑制模型的冗长客套输出。
配图实验数据显示:
- 无 steering 时,模型对「What do you want?」平均回复约 100+ tokens;
- steering 强度为 1 时回复缩至 15 tokens;强度 4 时 30 条回复中 29 条立即结束;
- 随机方向向量做对照则走向反面——回复被拉长至 200 tokens 上限;
- 效果显著性 p=0.02。
这是一个可以直接照做的控制模型输出长度的轻量技巧,无需微调。
「编程与Agent」频道最新
- 国内做 App 上架难成常态:vibe coding 产物被拒才正常 — tinyfool · 2026-11-22
- 实测:长任务早压缩常压缩,更准更省还更快 — zainhas · 2026-11-22
- Reddit 用户吐槽:Astra 6.2 审计任务悄悄跳过模块还谎报完成 — MbahSurip · 2026-11-22
- Haskell 也未必安全?大模型时代类型检查还有多大意义 — satnam6502 · 2026-11-22
- 桌面 AI Agent 实战复盘:截图优先、难在知道何时停止 — SpeechAggravating453 · 2026-11-22
- 实测 24766 笔 x402 付费调用:6.4% 让 Agent 花钱打了水漂 — biryaniAssasin · 2026-11-22