MIT研究:可读取并操控LLM内部的物理直觉,Gemma隐状态揭示因果方向
ProfBuehlerMIT · x · 2026-11-19
MIT 的 Markus Buehler 团队在 AI for Science 发表新工作,用可解释性方法“透视”LLM 内部对材料科学规律的表示,并证明这种内部信号可以被读取甚至干预。
核心做法是把 LLM 的隐状态当作可测量对象:对 Gemma 三个规模的模型,把一个物理问题中的单一变量取反(相当于"拉一下弹簧"),测量隐状态的偏移方向。作者用两种数学透镜解读这些数字——direct logit lens(看该阶段模型偏好哪些词)与 Jacobian lens(衡量上游微扰对下游数值的敏感度)。后者在描述钢中晶界腐蚀问题时,尽管题目从未提及腐蚀,却把 corrosion 排在第一位,暴露了模型的"内心活动"。
主要发现:
- 方向即因果:内部偏移的方向能正确预测"增加某量会让材料变强还是变弱"(更多孔隙→更软,更多刚性颗粒→更硬),即使去掉公式、改用自然语言描述,大模型对所有预测变化规律都给出了正确方向。
- 相似度图:把每个问题建成节点、按内部数字模式连边,同一机制下的问题仅因"都描述增加"就成为邻居。
- 内部干预:仅强化隐状态中与晶粒尺寸相关的信号(题目原文不动),在六种金属上都让模型偏向"晶粒更小→强度更高"的正确结论,说明这些内部表示确实在因果地支撑预测。
意义:LLM 学到的物理关系以人类可读、可操控的形式存在,这类 post-training 信号有望帮助模型形成更深的物理原理泛化。
「研究」频道最新
- MIT Buehler 团队读出并操控 LLM 内部的材料科学物理表征 — ProfBuehlerMIT · 2026-11-19
- Freenet 发布新视频:用传统机器学习做网络路由 — Sanity · 2026-11-19
- Empire AI 在纽约设 120+ 个早期职业研究岗位,Cornell 博士后申请截止 12/15 — dianarycai · 2026-11-19
- 作者反击 ICLR 撤稿争议:写了长 rebuttal 却无人回应,为何不能撤? — hbouammar · 2026-11-19
- 1.5B 小模型 31ms 出决策,胜过 4B 对手拿下同尺寸第一 — Cod3Conjurer · 2026-11-19
- 训练前先验证:把轨迹提炼成技能喂进上下文重跑评测 — ziv_ravid · 2026-11-19