Goodfire 新研究:LLM 读故事时情绪表征在激活空间中蜿蜒漂移
burny_tech · x · 2026-10-10
Goodfire(联合 Stanford)发布「神经几何」系列最新文章,首次从时间维度研究 LLM 内部表征:模型读短故事时,内部激活如何在概念空间中移动轨迹。
- 核心问题:以往研究只看单次前向传播的静态几何,本文关注表征随句子推进的动态变化。
- 案例:LLM 如何在激活空间中(几何上)和逐句变化中(时间上)表征人类情绪——喜剧的情绪轨迹上行,悲剧下行。
- 比喻:如同徒步者穿越弯曲地形,模型内部计算沿流形(manifold)蜿蜒,反映其对故事类型的持续判断。
- 作者包括 Eric Bigelow、Atticus Geiger、Jack Merullo 等,全文见 arXiv。
「研究」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- 号称匹敌 GPT-6.1 的 DNA 模型遭实测打脸：10 例 8 例不如随机 — anshulkundaje · 2026-10-23
- AI 揭穿阴谋论研究风波落幕：Science 撤回关注声明，结论不变 — DG_Rand · 2026-10-23
- Embodied First Exam：一行代码在 44 台机器人上考你的 Agent — ManlingLi_ · 2026-10-23
- Anima Anandkumar 演讲：AI 气象模型胜超算，但不会取代科学家 — AnimaAnandkumar · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23