开发者用抽象神经元激活组合嵌入向量,抗拼写干扰更稳

受 @nickcammarata「already clean」一文启发，开发者 mayfer 构建了一个新嵌入引擎：不直接对文本编码，而是用模型中对应通用抽象概念的神经元激活组合出向量。该方法在对标 SOTA 嵌入检索模型的 benchmark 上落后，但实测表现更稳定，尤其在做嵌入向量算术时不像传统方法那样易受拼写与格式干扰，作者认为其定性效果胜过以往基于稀疏自编码器(SAE)的方案。

2026-10-23 ~ 2026-10-23 · 4 条相关

• 用抽象神经元激活组合向量做嵌入，抗拼写格式干扰 — mayfer · 2026-10-23
• 一种与 SOTA 有差距但气质迥异的 embedding 思路 — mayfer · 2026-10-23
• 开发者实测：新嵌入方法效果不如 SAE 但 qualitatively 更有趣 — mayfer · 2026-10-23

另有 1 条近重复转述:mayfer