一种更可组合的嵌入训练法
mayfer · x · 2026-07-14
作者提出一种改进 embeddings 的训练思路： - 在训练时，为属性生成合成数据，例如把 `bike` 拆成 `vehicle / wheel / balance / pedals` 等组件。 - 然后在 embedding 层加入损失，让这些组件向量的和尽量接近整体概念 `bike` 的向量。 核心目标是让 embedding 更具有可组合性、可解释性，而不是只学到黑箱式相似度。
mayfer · x · 2026-07-14
作者提出一种改进 embeddings 的训练思路： - 在训练时，为属性生成合成数据，例如把 `bike` 拆成 `vehicle / wheel / balance / pedals` 等组件。 - 然后在 embedding 层加入损失，让这些组件向量的和尽量接近整体概念 `bike` 的向量。 核心目标是让 embedding 更具有可组合性、可解释性，而不是只学到黑箱式相似度。