可视化并编辑模型内部想法
ada1981 · hn · 2026-07-10
作者基于 Anthropic 的相关论文，做了一个可公开使用的工具，用来查看并编辑模型在生成答案前的**中间层内部状态**。 ### 工具能做什么 - 观察模型在回答前，哪些概念会在内部逐层被激活。 - 通过“插入”概念，影响后续输出方向；例如在“ocean”相关提示中插入“fire”，模型答案会偏向热/火相关内容。 - 还能让模型读取自己的“内部工作区”，再决定抑制或增强某个概念后重新生成。 ### 作者的实验发现 - **J-lens** 在某些架构上比普通 **logit lens** 表现更好，但在另一些架构上几乎没收益。 - 这种效果**不主要取决于模型大小**。 - 例如 **0.5B 的 Qwen** 读取效果优于 **2.8B 的 Pythia**；作者测试的 Pythia 基本没收益，而 Llama 和 Qwen 提升更明显。 ### 其他信息 - 这是一个基于开放模型、少量探针和租用 GPU 做出的 **48 小时项目**。 - 代码开源。 - 站点还加入了一个可聊天的页面上下文 AI agent，方便解释当前内容。