锯齿训练信号设计解析:202 句差值定义猫方向,逐层拉到 ±2 SD
Sauers_ · x · 2026-10-20
@Sauers 解释 zigzag 训练的梯度设计:训练按层进行,每个层-token 对有独立的梯度信号——偶数层最大化探针读数、奇数层最小化(或反之),目标曲线是把「猫方向」拉到 ±2 SD 的锯齿形。猫方向由 202 句含 cat 的句子平均激活减去同句换词(20 个其他词)的平均激活得到。作者提出后续想法:改成每个 token 单一信号,或对整个激活范数做锯齿——如果猫向量在激活空间中足够小,这样更易学且不干扰正常处理。
所属事件:研究者训练 Qwen3 内部表征走出锯齿路径(9 条相关)→
「研究」频道最新
- 开源中小学数学知识图谱上线:674 知识点 2843 题,错题可回溯到小学 — aigclink · 2026-10-20
- 两篇 SIGSPATIAL 2026 论文:卫星 VLM 可还原 98.3% 出行普查数据 — flosalim · 2026-10-20
- 开源 Strix Halo 推理引擎 Gufo 发文详解混合模型缓存设计 — fedeizzo · 2026-10-20
- Metis Reasoning 发布白皮书《The Age of Reasoning》,主打可验证推理架构 — ThoreG · 2026-10-20
- RealityBench 基准：VLM 记录体力工作强在文字弱在读数与空间推理 — relantic · 2026-10-20
- 无文档也能学会编译框架，LLM 逼问 DSL 该为谁设计 — GianniMariani · 2026-10-20