SAE+IDF 稀疏特征可跨系统对齐符号,SAE-IDF 在 129 项符号匹配中 124 项夺魁
AI-Interpretability-illinois · hf · 2026-10-19
伊利诺伊大学香槟分校可解释性团队发布 SAE-IDF 方法:用稀疏自编码器(SAE)特征加 rarity 加权(IDF),在异构系统之间匹配符号单元,如 NELL 知识库类别到 DBpedia 类别的对齐。
- 核心思路:SAE 的稀疏编码构成一个共享坐标系,再用 rarity 加权(类似 IDF)抑制高频通用特征、放大稀有判别性特征
- 交互式 demo 显示:在 129 个 NELL→DBpedia 查询中,SAE-IDF 正确命中 124 个(MRR 0.976),优于 dense 隐状态(116,MRR 0.931)与未加权 SAE(118,MRR 0.938)
- 以 trainstation→RailwayStation 为例:加 IDF 后稀有铁路特征被顶到最前,dense 表示只能排第 5
- 作者认为这为可扩展的神经符号推理(neuro-symbolic reasoning)提供了基础
「研究」频道最新
- Dream2Discern:自造困难样本预测多智能体系统运行时失败 — RutgersU · 2026-10-19
- 复旦等发布 BridgeWAM:桥接查询解耦视频与动作专家,推理提速 2.47 倍 — Fudan-University · 2026-10-19
- NVIDIA FC-SWE:用失败补丁反馈做条件化 RL,提升 SWE 智能体多轮解决率 — nvidia · 2026-10-19
- 浙大提出 AVC-Reward:事件中心框架评测音视频生成一致性 — ZhejiangUniversity · 2026-10-19
- PremiseCheck:把审稿意见拆成前提逐条核查,成本仅为 GPT-5.5 一半 — Dingjie Song · 2026-10-19
- SciΠvot 基准:前沿模型科研判断力不及人类,常偏爱有缺陷方案 — Youran Sun · 2026-10-19