不改一行梯度：直接编辑模型权重修好 TTS 的 whisper 标签
N1kuson · reddit · 2026-11-06
作者在 Kyutai Pocket TTS 微调版（Silencio-2）上遇到经典问题：<happy> 等情绪标签里只有 <whisper> 偶尔生效（约 1/5 次）。没有继续补数据，而是用「权重空间编程」方法让 LLM 智能体（Claude Opus 5.5）探查权重、定位失效机制、直接改权重，仅保留在留出集上有提升的修改。
诊断发现
- 标签 embedding 与来源词余弦相似度仍达 60–80%，模型「知道」标签含义
- 音频帧对 <happy> 的注意力是普通 token 的 100–3000 倍，其他标签仅 1–10 倍——问题在于模型几乎不读这些标签
- 推理时在激活层面把 <whisper> 注意力放大 30 倍，耳语成功率即升至 62%
修改方案
- 每层在 WK 上加一个 rank-1 项：z 为最小二乘拟合的标签检测器（对标签输出 1.00，其余 ±0.03），D 为指向最慢 RoPE 对的 key 偏移
- 仅约 524k 权重被改动（3.4%），但自由参数只有约 5k，零梯度步
- 留出集上 <whisper> 成功率 5/24 → 24/24 量级（干净词 5/24→提升），7 类情绪可分性 0.45，未标注语音 WER 仅 0.006
代价与失败尝试
- 不稳定：部分生成中途音调突变、耳语含糊（whisper WER 0.18）、<surprised> 音高上移约 4 个半音
- 只推音频帧 query 无效；标签主要通过与文本 token 的通路起作用
- 增益推到 ×14 以上会糊词（×20 → WER 0.41）
核心启发：当微调「似学非学」某个控制 token 时，可以先探测注意力通路再直接改权重，比补数据更省。配图还展示了同一方法在 Breakout 策略网络定位（99% 置信）、CartPole 一次修复（0→100%）、Qwen3.5-0.8B 数学成绩 7.9%→48.1% 上的应用。
「编程与Agent」频道最新
- 实时 AI Agent 该测「流畅度」：HRI 十年指标给出新答案 — Stefania_druga · 2026-11-06
- LangChain 实测：图记忆让多源问答准确率升 27%，正确答案成本降 58% — JeremyCMorgan · 2026-11-06
- Void 一条命令搞定构建部署,还能让团队安全地用编码智能体 — cnakazawa · 2026-11-06
- 四周 610 次 commit 后他放弃人审:改用独立智能体互审代码 — ShoddySherbert8502 · 2026-11-06
- Cursor 推出应用内实时构建与一键分享：从想法到上线全在一个编辑器 — mattyp · 2026-11-06
- 给 AI 幕僚单独开账号：一个摆脱微观管理冲动的实用心理技巧 — SubtleGradient · 2026-11-06