线性表示假说因果内积研究扩展至 2026:七款模型全部验证有效
ChenhaoTan · x · 2026-10-09
ChenhaoTan 团队对 Park、Choe、Veitch 的 ICML 2024 论文《The Linear Representation Hypothesis and the Geometry of Large Language Models》做了延续验证。
- 原论文提出「因果内积」(causal inner product):一种度量表示空间方向的方法,使独立概念的方向更接近正交,并证明沿概念方向移动可以改变模型预测
- 新扩展实验(覆盖到 2026)在全部七款受测模型上确认该方法能改善概念方向的分离
- 但在 LLaMA 家族之外,因果内积相对普通内积的优势明显变小
论文核心是用反事实语言给「线性表示」两种形式化定义,分别连接线性探针与模型转向,并统一了几何概念。
「研究」频道最新
- aimotive 自动驾驶数据集训练标签靠「事后诸葛」追踪器生成 — RexDouglass · 2026-10-09
- Yale 研究发现 LLM 内部表征存在符号结构 — tallinzen · 2026-10-09
- COLM 2026 离散扩散 meetup:10 月 8 日 4-5 点 Grand Ballroom — yuntiandeng · 2026-10-09
- Astra 机器人控制实测:Johns Hopkins 深度评测其运动与控制理解 — jmin__cho · 2026-10-09
- Tavily 智能体可见性报告遭质疑：提问带域名才 93% 实时检索 — edwin · 2026-10-09
- 独立研究者发布 AI 加速相变模型，6 个预注册预测窗口全部命中 — sadeyeprophet · 2026-10-09