研究：Qwen 可解释性透镜跨版本迁移实测
imstilllearningthis · reddit · 2026-08-16
这项研究测试了为 Qwen2.5-72B (文中称3.6) 拟合的 Jacobian Lens（可解释性工具）能否直接应用于 Qwen2.5-72B-Instruct (文中称3.8) 而无需重新训练。
主要发现：
- 读取能力： 迁移后的透镜在识别潜在实体方面表现良好，中间层的排序甚至优于原模型。表面 next-token 预测在深层网络代价较大（约2倍）。
- 引导能力： 利用旧模型提取的方向向量（如“悖论”）可以成功在新模型中消除特定概念，且不破坏描述连贯性。
结论： 跨检查点迁移是可行的，监控流水线可以复用旧透镜，无需每次模型更新都重新拟合。
「模型」频道最新
- will.deeb：质问小实验室为何不和最新模型比，通常是个蠢问题 — willcb · 2026-10-16
- Grok 订阅算账：$200 Ultra 还是 $300 SuperGrok Heavy？ — alexcovo_eth · 2026-10-16
- 用户实测称 Opus 5.5 研究构思能力远超 Astra — menhguin · 2026-10-16
- 网友猜测 Meta 新版跃升靠蒸馏 OpenAI,故不开源 — teortaxesTex · 2026-10-16
- Meta 选择 MLX 做本地推理,Muse Spark Open 登陆 Mac Studio — awnihannun · 2026-10-16
- 传智谱 GLM 5.5 即将发布，编码能力有望追平前沿模型 — bindureddy · 2026-10-16