Anthropic 全球工作区论文暗示 LLM 里存在固定语义坐标系
tszzl · x · 2026-07-26
- 作者认为，Anthropic 最近关于 LLM global workspace 的论文，为“中文房间”问题提供了新的解释线索。
- 他最惊讶的点是：把不同上下文下的 Jacobian 做平均后，竟然还能得到有意义的读出，能判断某一层的某个 token 会生成什么词。
- 这意味着，LLM 在中间层可能存在一个固定的语义坐标系，而不是同一个词在不同语境里指向完全不同的方向。
- 按这个理解，不同层之间是在共享的语义“语言”里互相传递信息，最终再组合成输出。
「漫话AGI」频道最新
- 这条 AI 争论被类比成工业革命时代的回声 — joshua_saxe · 2026-07-26
- AI 观察者称：模型不如用法重要，基础模型护城河在变薄 — StewartalsopIII · 2026-07-26
- 强制推送 AI 功能，催生了教人关闭它的新市场 — HaktanSuren · 2026-07-26
- Artificial Analysis 图表显示前沿 AI 进入 12.1 个月翻倍曲线 — christopher534 · 2026-07-26
- 微软、Palantir 和英伟达都在押注“公司不会消失” — teortaxesTex · 2026-07-26
- Bittensor 开放子网用 256 矿工竞争分配收益 — markjeffrey · 2026-07-26