David Bau 补充：VLM 中 Jacobian lens 可意外获得优于 logit lens 的读出
davidbau · x · 2026-09-30
作为概念归纳头研究的补充，davidbau 指出学生团队正在玩「Jacobian lenses」技术，并推荐 Sheridan Feucht 开创的总结注意力头组合 OV 变换的方法：在视觉语言模型（VLM）中，它几乎「纯属意外」地产生比 logit lens 好得多的内部读出效果。
所属事件:东北大学团队提出 LLM 概念归纳头双通路模型(2 条相关)→
「研究」频道最新
- CLM 发布即支持 Pi-agent,一条命令即可上手体验 — RulinShao · 2026-09-30
- 无电 100 位加法：Nature 论文展示脚手架 DNA 计算机 — jiqizhixin · 2026-09-30
- 每日探测 34 个 LLM API 抓静默变更:DeepSeek 推理用量一夜涨 10 倍 — Electrical_Rip892 · 2026-09-30
- 新预印本:估 LLM 嵌入维度别用 PCA,EGA 恢复率达 97.6-100% — GolinoHudson · 2026-09-30
- 不信厂商跑分?他写 28 分钟指南教你自建 eval 并爬坡优化 — ghumare64 · 2026-09-30
- 只许输出 Simple Wikipedia 没见过的二元组,Gemma 4B 被逼出满屏错字 — cephaloform · 2026-09-30