NeurIPS 新基准 MedKIT:LLM 记住新知识≠真正会用
zeynepakata · x · 2026-10-01
Zeynep Akata 团队发布 MedKIT(医学知识整合与迁移)基准,被 NeurIPS 2026 接收,聚焦评估 LLM 能否真正整合并应用更新的知识,而非简单复述。
- 每个样本对应一次来自临床证据的事实更新,配套测试词汇变化、关系变换、组合推理、开放操作化等迁移能力,以及知识保持的局部性测试
- 对 5 个模型(含通用与医学 LLM)的 12 种知识整合策略做了大规模实证研究
- 核心发现:大多数方法在原始更新任务和词汇变体上提升明显,但关系泛化有限;在组合推理和操作性任务上,没有任何方法带来有意义改进
- 医学场景中过时知识有安全风险,该基准揭示了「召回」与「可用知识」之间的系统性鸿沟
「研究」频道最新
- Schmidt Sciences 公布 2026 AI2050 早期职业学者，分子生成模型入选 — CSProfKGD · 2026-10-01
- 学者质疑 RNA 模型微调后改名:古典 fine-tuning 不该换名字发表 — anshulkundaje · 2026-10-01
- SpikingBrain 融合线性注意力与脉冲神经，主打零延迟边缘推理 — gekobraa · 2026-10-01
- Ben Recht:效用最大化无处不在,该学的是它何时被误用 — beenwrekt · 2026-10-01
- 剪枝后答案仍在：SCOPD 用在线自蒸馏找回 VLM 92% 的全上下文性能 — CSProfKGD · 2026-10-01
- 小米 MiMo-V2.6 技术报告解读:一次 RL 混跑全领域,训练成本 260 万美元 — SergioPaniego · 2026-10-01