Anthropic 全球工作区论文暗示 LLM 里存在固定语义坐标系
tszzl · x · 2026-07-26
- 作者认为，Anthropic 最近关于 LLM global workspace 的论文，为“中文房间”问题提供了新的解释线索。
- 他最惊讶的点是：把不同上下文下的 Jacobian 做平均后，竟然还能得到有意义的读出，能判断某一层的某个 token 会生成什么词。
- 这意味着，LLM 在中间层可能存在一个固定的语义坐标系，而不是同一个词在不同语境里指向完全不同的方向。
- 按这个理解，不同层之间是在共享的语义“语言”里互相传递信息，最终再组合成输出。
「漫话AGI」频道最新
- Replit CEO 长文：Agent 将催生「自动驾驶公司」,2030 每家公司都自驱动 — amasad · 2026-10-27
- 美参议员炮轰 AI 行业：50 人死亡才算灾难性事故？ — peterwildeford · 2026-10-27
- Replit CEO 称 AI 让软件事实上开源，Aakash Gupta 复盘还剩哪些护城河 — aakashgupta · 2026-10-27
- 读懂AI意识之争:先分清对方站在哪种立场 — msharmas · 2026-10-27
- 功能主义视角：意识只是大脑的计算，硅片复现同样功能即得同样结果 — msharmas · 2026-10-27
- iPhone 新壳狂揽 8.5 万条评价：丰饶时代的万物皆假 — tekbog · 2026-10-27