观察:Qwen 后期层神经元像开关,Olmo 则不然
Sauers_ · x · 2026-09-29
作者借助 Claude Opus 5.5 分析发现,Qwen 系列模型后期层的神经元行为类似「开关」(on-off),而 Olmo 模型中没有观察到同样的模式。
这暗示不同模型家族在后期层的激活稀疏性/二值化程度上存在结构性差异,可能影响可解释性分析的结论。作者未展开更多细节。
「模型」频道最新
- Google AI Mode隐藏所用Gemini型号,Gemini 4 Carbon下放Pro用户 — gaganghotra_ · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- Nathan Lambert 点破 Ethan Mollick 榜单对比漏掉了 Kimi — natolambert · 2026-11-16
- Devin 构建中现 Anthropic 隐身模型,METR 图显示前沿速度提至 1.4 倍 — daniel_mac8 · 2026-11-16
- 评测方 Trajectory 给 40 个 Agent 写「永不放弃」提示词,此前未告知 Epoch — peterwildeford · 2026-11-16
- 自托管实测:Unsloth Q8 量化版大幅优于默认 Q3,连夜跑完 331 份账单分析 — No_Cartographer3953 · 2026-11-16