CTA 论文:图结构特征可预测探针精度,ρ=0.91、R²=0.84
ZhijingJin · x · 2026-10-25
CTA 论文（arXiv:2608.27510）公布完整结果，作者 Vedant Palit、Florent Draye、Terry Zhang、Bernhard Schölkopf、Zhijing Jin，由 Jinesis Lab、马普所、多伦多大学/Vector Institute 等支持。
- 方法：用 Cross-Layer Transcoder 替换 MLP，围绕线性 probe 的概念方向构建归因图，得到 probe 专属电路，解释概念表征为何在 prompt 中出现，与是否输出到 token 无关。
- 图级结构预测 probe 精度：跨四类概念（毒性/情感/推理/真实性），图级特征预测 probe 准确率达 ρ=0.91、R²=0.84；高精度层电路集中而决定性强，低精度层则呈分布式。
- 跨 prompt 稳定核心：各概念的 top 预测特征在同一 belief 层出现频率是随机特征的 6–21 倍——「多电路、一核心」。
- 因果消融：移除 probe 相关特征会降低内部概念得分但基本不改变输出 token；移除 logit 相关特征在 92–100% 案例中改变输出 token，而对 probe 得分几乎无影响，说明两者是功能不同的机制。
所属事件:EMNLP 新论文提出 CTA 方法解释线性探针的涌现机制(2 条相关)→
「研究」频道最新
- WildAWM 开源合成计算机环境，Qwen3.6 训练后 8 项基准平均涨 10.6 分 — HuaxiuYaoML · 2026-10-25
- 用 AI 生成物理论:想法大多已在近两月被别人做掉 — burny_tech · 2026-10-25
- ASRN 新架构：线性内存长程复制，256k 长文仅 69ms — Mean-Disaster8380 · 2026-10-25
- Stieltjes 积分竟用于诊断 AI：建模 AUC 随训练样本数变化 — PTenigma · 2026-10-25
- supermimic 复现难题：开源实现普遍在 Bones Seed 处发散 — andrew_n_carr · 2026-10-25
- 权重压到 -1/0/+1:语音模型从 2.4GB 瘦身到 181MB,WER 仅升 0.4 个点 — lmoroney · 2026-10-25