可解释性圈明日直播教程:从残差流特征方向到模型去审查实操
CatAstro_Piyush · x · 2026-11-01
可解释性(mech interp)研究者预告了一期实操教程视频,讲解如何「转向」语言模型,内容包括:
- 在残差流中定位特征方向
- 模型去审查(uncensoring / abliteration)实操
- 寻找单义神经元(monosemantic neurons)
- 自动可解释性方法
- Transformer 内部机制讲解
配图展示了「tomato neuron」的示例:第 7 层某单一神经元在多种 prompt 下稳定触发与番茄相关的输出,是单义特征方向的直观演示。
「研究」频道最新
- 研究者探讨 LLM 能否像科学家一样从反常识现象中发现物理定律 — rohanpaul_ai · 2026-11-01
- LongChang 基准:12 个 LLM 仅 GPT-6-Astra 能自主发现未知物理定律 — rohanpaul_ai · 2026-11-01
- 747 个 AI 想法实测:「想法下降」也有 scaling law — DimitrisPapail · 2026-11-01
- 小米联合多高校提出 A-RSI:11 项基准平均分 57.77 提至 61.05 — mark_k · 2026-11-01
- UC Berkeley 论文:让 Agent 定期清空记忆,成绩最高提升 39% — alexcovo_eth · 2026-11-01
- UniT 框架让统一多模态模型学会多轮规划、检查与迭代精炼 — burkov · 2026-11-01