消融细节:控制锯齿的是 even/odd 词元,而非 cat 本身
Sauers_ · x · 2026-10-20
作者通过消融实验定位控制机制:把提示词里的「cat」去掉锯齿依然出现,真正必需的是「even」/「odd」这两个词元——模型学到的其实是对「奇偶层」指令的执行回路,cat 只是目标方向。
同时明确局限:该行为不能泛化到其他 cat 探针或 logit lens 的 P(cat),高度贴合训练时用的那个特定探针。
所属事件:研究者训练 Qwen3 内部表征走出锯齿路径(9 条相关)→
「研究」频道最新
- 新论文:让模型在 RL 中放心 reward hack,部署前关掉相关参数即可 — nptacek · 2026-10-20
- Victor Taelin:足够聪明的编译器能看懂并替换你代码里的算法 — bronzeagepapi · 2026-10-20
- Galbot 提出观测性 Scaling Law:五轴指标量化物理递归自我改进 — Galbot · 2026-10-20
- 腾讯等提出 ActionRoPE:动作编码为坐标实现世界模型空间一致控制 — Zhiyang Deng · 2026-10-20
- UniAVC 用渐进训练与不对称调度统一音视频生成与跨模态编辑 — Kien T. Pham · 2026-10-20
- AHE 论文用松耦合组件自动进化编码 Agent,Terminal-Bench 2 提升 7.3pp — morgymcg · 2026-10-20