Fraunhofer 研究:探测概念的最佳方向并非引导模型的最佳方向
FraunhoferIAIS · hf · 2026-11-20
Fraunhofer IAIS 的研究系统比较了语言模型隐状态中的 probing(探测概念是否存在)与 steering(将模型行为引向该概念)所用的方向。
- 构建了一个单参数方向族(从协方差调整的均值差方向开始),在固定副作用下沿该族评估探测与加性引导。
- 在三个不同家族的指令微调模型上、针对真实性与情感两类概念,最佳探测方向都不是最佳引导方向:引导始终偏向更接近均值差的方向。
- 这一分离在模型间也成立(59/60 的对比情形),说明探测方向不能直接迁移用于引导,对可迁移性与弃答(abstention)机制有启示。
「研究」频道最新
- Anthropic 数学家称用 AI 攻克黎曼猜想,网友调侃,真实性待证实 — basedjensen · 2026-11-21
- 实践者吐槽:Lean 编译通过的自然语言证明,读起来仍是错的 — jasondeanlee · 2026-11-21
- 黎曼猜想真被证明了会改变什么?答案:几乎不影响日常,四页纸加 1700 万行 Lean — stingning · 2026-11-21
- 实测 11 个开源模型新注意力架构:128K 上下文显存最高省 139 倍 — bariskasikci · 2026-11-21
- 斯坦福讲座预告:医疗中的负责任 AI,从真实世界证据到 Agent 系统 — jonc101x · 2026-11-21
- 生物学家论演化 vs AI:测量工具的窄视角让模型学不到真正的多维优化 — NikoMcCarty · 2026-11-21