Tom Yeh 手绘图解 Two-Tower MLP:从推荐系统讲到 CLIP
ProfTomYeh · x · 2026-09-14
Prof. Tom Yeh 的「AI by Hand」系列第 11 篇，用手绘交互图讲解 Two-Tower MLP（双塔结构）：
- 结构：两个输入各自经过独立的 MLP（塔），输出在末端拼接（concatenation），再做一次线性投影得到最终输出；两塔可有不同的输入维度和压缩率。
- 典型应用：推荐系统（用户塔 + 物品塔）、对比学习（同一数据的两个视图）。
- 多模态意义：一座塔读图像、一座塔读文本，训练把匹配的图文对拉近到同一输出空间——这正是 CLIP 的原理，匹配退化为简单的向量运算，因此能“用句子找图片”。
配套交互图解可在 byhand.ai 上打开操作。
「研究」频道最新
- 理论计算机科学家反思:AI时代应如何平衡解题与建理论 — jasondeanlee · 2026-09-14
- 研究指出:0.003% 票数变动即可改写 LMArena 榜首 — rishabh16_ · 2026-09-14
- Anthropic-HH 数据集:6.5% 标注者贡献一半偏好投票 — rishabh16_ · 2026-09-14
- Berkeley 研究者：Lean 证书不算真证明，只能当强数值证据 — rbhar90 · 2026-09-14
- 空结果何时该发表？学者称贝叶斯先验让问题迎刃而解 — RexDouglass · 2026-09-14
- AI 复现论文解决不了作者署名问题,Dietterich 点出学术新隐忧 — tdietterich · 2026-09-14