把 MTP 头当语言模型采样：vgel 团队试出 loom lens 树状读出
voooooogel · x · 2026-11-12
vgel 继续探索 chain lens 的玩法：由于 MTP 头可以像普通语言模型一样采样，团队尝试了"loom lens"——受其 logit loom 项目启发，把隐状态读出渲染成树状分支结构（每个分支是不同的多 token 延续）。
- 现状：loom lens 目前没有显著优于普通 chain lens，因为树状结构对评审模型来说太复杂（当前复用 J-lens 的 summarizer，需要把树线性化）。
- 前景判断：团队认为这种方法在可解释性 agent（interp agent）手里有潜力，适合让 agent 自主探索分支结构而非人类直接阅读。
所属事件:vgel 团队推出 Loom Lens：把 MTP 头当语言模型树状采样(2 条相关)→
「研究」频道最新
- LAION 发布网络级音频数据集 Audio-XL,发力对比语言-音频预训练 — kastnerkyle · 2026-11-12
- Epoch：AI 软件进步每年让同等能力所需训练算力降数倍 — datagenproc · 2026-11-12
- 用血染钟楼测模型撒谎：Kimi K3.1 Pro 居开源模型之首，仅次于 GPT 5.5 — eliebakouch · 2026-11-12
- Gemini 几乎自主完成「血染钟楼」社交推理 benchmark 实验 — eliebakouch · 2026-11-12
- 团队复现全部 9 个「权重空间编程」实验，结论有涨有跌 — burny_tech · 2026-11-12
- 开源个性化 mRNA 癌症疫苗设计:为胰腺癌患者 Yash 而做 — xennygrimmato_ · 2026-11-12