FlexGlue 作者补充分享：entmax 损失与 MLP 细化的训练细节

ducha_aiki · x · 2026-11-05

FlexGlue 作者转发自己论文帖并附上论文细节截图（"So many nice small details"），补充了训练与细化层面的设计：

亚像素读出：用带窗口的 softmax 读出（实践中换成 1.5-entmax + 稀疏 entmax 损失，给低概率单元恰好零概率），对四个相邻单元的双线性真值权重做交叉熵监督，网络因此能在单元间插值，达到亚单元精度；对数空间插值至关重要，否则质量会集中到最近单元。
局部细化：粗读出已让 80% 以上查询落在 2px 内，再用小 MLP 从当前层插值 token 预测 ±1 单元的亚单元偏移，每查询仅需两次插值，随查询数线性扩展；对粗位置截断梯度，细化用广义 Charbonnier 损失，平均只移动 0.6px。
监督：训练时每 16×16 单元采样一个带随机偏移的查询而非依赖关键点检测器，查询方式可在测试时自由替换；可见性与 matchability 均用平衡二元交叉熵监督，负样本引入后加入 covisibility 损失，逐层深度监督总损失为 10Lcoarse + Lfine + Lmatch。

「研究」频道最新