「抽象神经元当嵌入」在词相似度上胜过全部 SOTA,句子检索惨败
mayfer · x · 2026-10-28
mayfer 分享其「抽象神经元作为嵌入」(abstraction neurons as embeddings) 方法的初步结果：在词级相似度任务上击败所有 SOTA 嵌入检索方法，但在句子相似度与检索任务上表现很差。他认为这在预期之内——方法只用了 40 亿参数模型 16k 个神经元中的极少部分——但词级效果之好仍超出预期。他同时在征集可追的「神经元猎人」(可解释性研究者与工具如 neuronpedia) 名单。
「研究」频道最新
- Anthropic 公布 Claude 六项药物研发合作结果,并启动自研罕见病药物项目 — IAmSamFin · 2026-10-28
- TTME 免权重更新超越测试时训练,FLOPs 降 82.8-84.6% — UCSantaBarbara · 2026-10-28
- EnvLunch 用环境免标注造训练数据,agent 性能提升超 9% — KingsCollegeLondon · 2026-10-28
- Anthropic 宣布用 Claude 自研实验性药物，瞄准儿童罕见病与癌症 — Polymarket · 2026-10-28
- 斯坦福 TaskNet 上线：132 次工人访谈构建职业任务清单，量化 AI 对工作的冲击 — soumitrashukla9 · 2026-10-28
- KAIST 提出 Principia:让 LLM 在测试时从观察自建科学原理 — coallaoh · 2026-10-28