可解释性研究者列当下最关键问题:解码模型激活的读心术
wesg52 · x · 2026-09-16
研究者 JackWLindsey 列出他认为当前最重要的研究问题,核心是把模型激活「读」成人类可读语言的方法。
- 已有多种激活解码技术,但各有明显缺陷:NLA 常产生幻觉,Jacobian lens 等方法只能做词袋式读出,且只捕捉部分激活向量。
- 逐 token、逐层解码的范式可能本身有局限——模型实际使用的是整个上下文的激活,应探索解码整段上下文的技术。
- 还需刻画简单基线,比如「直接问模型在想什么」的表现。
作者认为在这些失效模式上取得进展是相当可行的方向。
「漫话AGI」频道最新
- LeCun 用飞机安全类比反驳降速论:更好的 AI 才是更安全的 AI — Dan_Jeffries1 · 2026-09-16
- Genome Biology 征稿:肿瘤微环境的多组学与AI方法研究 — arjunrajlab · 2026-09-16
- 网友立赌约：明年底前 AI 将助力发现新物理学 — blaizedsouza · 2026-09-16
- 扎克伯格称追责已够，作者晒 Section 230 与 170 亿和解讽其双标 — jeremyakahn · 2026-09-16
- 创业者抨击 AI 末日论：把才华浪费在想象的问题上 — Dan_Jeffries1 · 2026-09-16
- DeepMind前研究员在卫报发文：放缓一两年救不了AI失控风险 — nordicinst · 2026-09-16