vgel 团队推出 Loom Lens：把 MTP 头当语言模型树状采样
vgel 团队（voooooogel 与 Raymond Douglas 合著）受 logit loom 项目启发，提出“loom lens”玩法：由于 MTP 头可以像普通语言模型一样采样，团队尝试从隐状态中做多行并行树状读出。完整文章已发布，包含完整结果大表以及与 WorkspaceBench 斗争的经历。不过从结果看，该方法暂未显著超越基线。
2026-11-12 ~ 2026-11-12 · 2 条相关
- 第 1 集:Chain Lens：免训练从模型激活读出多 token 概念(2026-11-12,6 条)
- 第 2 集:团队仅花 5 美元解释 Qwen 全部 110 万神经元(2026-11-12,2 条)
- 第 3 集:vgel 团队推出 Loom Lens：把 MTP 头当语言模型树状采样(2026-11-12,2 条)
- 把 MTP 头当语言模型采样：vgel 团队试出 loom lens 树状读出 — voooooogel · 2026-11-12
- Chain Lens 团队还试了 Loom Lens:多行并行采样,暂未显著超越基线 — voooooogel · 2026-11-12