SBERT2S1：生物医学检索编码器一次前向输出带校准概率的类型化判断
Pritam Deka · hf · 2026-10-05
研究探索用为检索训练的生物医学句子编码器构建「类型化决策模型」——一次前向回答 schema 约束的问题并输出可阈值化的概率。团队发布 SBERT2S1（将 Sentence-Transformers 编码器转为 bi-encoder、交叉头 C 与先验融合残差 PFR 决策头）、BIODECIDE 基准套件和 243k 条 MEDLINE-S1 训练决策。主要发现：- 检索训练显著提升零样本匹配，微调后其收益取决于头结构：15 组对比中 PFR 在 10 组受益，交叉头 C 仅 1 组受益、5 组受损。- 双头×五种目标函数的对照网格显示 C 在所有目标下都优于 PFR。- 已开源 System One 模型的 RLCD 配方比交叉熵低 2.5–3.0 分，主要源于 reward 归一化把噪声 score-function 项放大 3.6–15 倍；无偏 leave-one-out 估计器可挽回大部分差距。- 温度缩放后没有任何目标函数的校准明显优于交叉熵。代码、标签与模型均已开源。
「研究」频道最新
- 上海交大发布 LIFT:VLA 零力标注预训练,后训练注入力觉高频反应 — jiqizhixin · 2026-10-05
- LOOM 让循环 MoE 稳定跑到 9-12 层循环，iso-FLOP 反超标准 MoE — SonglinYang4 · 2026-10-05
- 论文被 ACML 2026 接收却因无钱交注册费考虑撤稿 — Jealous_Key_4030 · 2026-10-05
- CMU 提出 TailRL：优化奖励上尾概率，让 RL 少陷次优解 — ceciletamura · 2026-10-05
- CTWM 用一半参数持平强基线：六个像素级任务导航操作全测 — hisspikeness · 2026-10-05
- 多数自监督学习破坏所需表征缩放，论文用 log-det 正则修复 — hisspikeness · 2026-10-05