ZeroPoint 论文:把「拒答」设为零能态,EBM 弃权决策更轻量
kalyan_kpl · x · 2026-11-11
arXiv 上新论文 ZeroPoint(作者 Javier Marín)提出一种轻量级基于能量的决策模型(EBM)。
- 问题:标准 EBM 只学到选项之间的相对兼容性(所有能量加上同一常数不影响预测与训练损失),因此没有可学习的参照水平来判断「没有任何选项合适」。
- 方法:ZeroPoint 把「空答案」设为对每个输入能量恒为零的状态,为所有候选选项提供显式参照;选项的非负能量深度衡量其相对空答案的兼容度。选择选项还是弃权成为普通推理的一部分,用负对数似然损失统一训练,无需额外的拒绝规则。
- 实现:能量函数是一个小型多语言编码器,读入输入与全部选项,且对选项顺序不变。消融实验显示大部分收益来自该训练方式。
「研究」频道最新
- 几何深度学习全书草稿完成,Petar Veličković 称其为五年最重要成果 — TacoCohen · 2026-11-11
- 补全 4096 组合实测:翻转模型答案只需几个神经元,整个回路并非必需 — Ömer Tekin Yavuz · 2026-11-11
- 中国 ML 论文产能引热议:博士生百篇论文、一周一篇如何炼成? — Strong_Boy_757 · 2026-11-11
- Google DeepMind Weather 招收明年学生研究员,要求扎实 ML 背景 — LucaAmb · 2026-11-11
- Google 预印本 StreamVibe:流式视频主动助手学会何时该开口 — jiqizhixin · 2026-11-11
- GMM 采样潜变量即可生成随机输入,无监督训练闭环再进一步 — caglar_ee · 2026-11-11