用抽象神经元激活组合向量做嵌入，抗拼写格式干扰
mayfer · x · 2026-10-23
作者受 @nickcammarata「已经干净」一文的启发，用模型中负责通用抽象概念的神经元激活来组合向量，构建了一个新的嵌入引擎。实测表现更稳定，尤其在做嵌入向量算术时，不像传统嵌入模型那样被拼写、格式等表面特征干扰，而是更关注文本中的抽象概念。效果不一定总是更好，但总体至少持平，且至今没有像常规嵌入模型那样崩溃返回垃圾结果。作者计划跑一些向量检索评测来验证性能。
所属事件:开发者用抽象神经元激活构建嵌入引擎，抗干扰更稳(2 条相关)→
「研究」频道最新
- 新论文：九个前沿模型都在写「难懂」语言，信息密度优化是主因 — _onionesque · 2026-10-23
- 斯坦福教授批 BioReason 评测有严重缺陷:变异效应预测不严谨 — anshulkundaje · 2026-10-23
- Science 封面：三智能体 AI 序贯诊断准确率近医生两倍且成本更低 — EricTopol · 2026-10-23
- 斯坦福学者批基因变异效应评测：BioReason 评测「极不严肃」 — anshulkundaje · 2026-10-23
- 用「抽象神经元」激活拼出嵌入向量：拼写干扰更小、向量数学更稳 — mayfer · 2026-10-23
- 三智能体序列诊断准确率近翻倍,成本还大幅低于医生 — EricTopol · 2026-10-23