实测「bathroom − toilet = kitchen」：embedding 算术优于稀疏自编码器

mayfer · x · 2026-10-23

mayfer 分享了一个 embedding 语义算术实验：对 embedding 做「bathroom − toilet」运算后，最相似的结果正是 kitchen，效果令人满意。对比截图显示，Gemini Embedding 2 返回 bath/baths 等表面相近词，而 Qwen3-4B LLM 抽象神经元（5317 个标注神经元中 20 个与 Gemini 共享）和 Qwen3-Embedding-4B 的结果中 kitchen、bedroom 排名靠前。

他补充说明，这种方法比他此前尝试过的基于稀疏自编码器（SAE）的 embedding 方案效果好得多——用现成 embedding 减去无关概念向量即可做语义控制，是一个可直接复现的小技巧。