chain lens 可解释性新工具引出反思:大模型未必是看不懂的黑箱
thesephist · x · 2026-11-21
- 作者介绍了自己花一个月开发的可解释性工具 chain lens:在现有 token lens(如 J-lens)基础上接入模型的多 token 预测头,把单 token 读出升级为多 token 短语读出。核心思路极简——模型里本来就有名为 multi-token 的组件,直接借用即可。
- 由此引发的思考:很多人认为 AI 天生难理解,源于「黑箱创伤」——符号 AI 之死、"开除语言学家性能反升"、The Bitter Lesson、可解释 AI(XAI)失败,以及 sentiment neuron 稀有、神经元普遍叠加态等早期挫折。
- 但近期涌现了大量「藏在眼皮底下」的新理解路径:J-lens 对 logit lens 的改进六年来无人发现、可扩展的可解释性 NLAs 与 oracle 独立开始有效、模型内省与自解释机制能力也在变强。作者认为模型并非不可理解的海洋。
「漫话AGI」频道最新
- 两年前断言「AI 证明星辰猜想只配被嘲笑」,如今改口 — burny_tech · 2026-11-21
- 「AI 都解出最难数学题了,我的中级会计岗肯定安全」 — birchlse · 2026-11-21
- AI 培训师转型:模型不再「擅长四件事」,瓶颈变成了想法本身 — beglen · 2026-11-21
- 把千禧年难题说成「暴力搜索」?研究者吐槽 AI 数学成果的贬低话术 — burny_tech · 2026-11-21
- 网友对比 OpenAI 与 Anthropic 文化:数学家群体正在承受「冷峻机器之神」的代价 — akbirthko · 2026-11-21
- 「距数学全部被解决还有70天」梗图刷屏:Claude 拿下千禧年大奖难题 — burny_tech · 2026-11-21