LMEnt 研究套件发布:实体级预训练语料加 12 个可复现模型
megamor2 · x · 2026-10-25
作者在 EMNLP 2026(布达佩斯)参会,将参加主旨圆桌并展示与 Gottesman、Suslik 合作的知识表征研究。核心是 LMEnt 套件(TACL 2026):
- 知识丰富的预训练语料:基于 Wikipedia 的实体标注,可精确定位知识在预训练数据中的位置。
- 实体级检索方法:优于现有工具最多 80.4%,能应对措辞变化(如 Buffalo Bills 也可被称为 The Bills)。
- 12 个预训练模型:参数最高 1B,含 4000 个中间 checkpoint,知识任务表现与主流开源模型相当。
支持机制可解释性、学习动态、知识编辑、可塑性、归因与幻觉等研究方向,可用于分析预训练数据组成、训练动态与内部知识机制的关系。
「研究」频道最新
- Judea Pearl《The Book of Why》：面向大众的因果推理入门书 — burny_tech · 2026-10-25
- CERN 携手 Mistral 打造首个对撞机物理大模型 — burny_tech · 2026-10-25
- CERN 与 Mistral 签署合作意向，共建对撞机物理首个基础模型 — burny_tech · 2026-10-25
- CERN 携手 Mistral 打造首个对撞机物理基础模型 — burny_tech · 2026-10-25
- leogao 撰文反驳「可解释性已解决」:激活样本漂亮不等于解释正确 — burny_tech · 2026-10-25
- 沿流形转向控制神经网络:几何感知的激活空间干预方法 — burny_tech · 2026-10-25