自建 70+ 任务基准实测:Cross-Encoder 平均收益为零
bo_wangbo · x · 2026-10-09
bobowang 在与网友讨论中透露：其团队在 200M 到 8B 规模、point-wise 到 list-wise 的各种「SOTA」cross-encoder 上做了基准测试，覆盖 70 多个跨领域任务，结果所有 cross-encoder 在平均盈亏后收益为零。他还称其替代方案在没有任何分数监督或对比训练的情况下持续获胜，但以成本保密为由拒绝透露细节。这引出对 BEIR 等公开基准污染问题的争论。
所属事件:70+任务实测:SOTA交叉编码器平均收益为零(2 条相关)→
「研究」频道最新
- arXiv 论文为 StopGrad 正名：无损失函数也能收敛到正确解 — srush_nlp · 2026-10-23
- PEARL 演示：LLM 机器人自主核对实验结果、修正方案并复测 — KevinKaichuang · 2026-10-23
- 伯克利 StyleStream 2.0：流式语音转换延迟降至 520ms 提速一倍 — Berkeley · 2026-10-23
- 数学博士生宣布离开学术界：AI 正让数学变得面目全非 — pickover · 2026-10-23
- ICLR 投稿现 LLM 残留自评：作者模型自曝结果不显著 — _onionesque · 2026-10-23
- AKV 推理系统让 Agent 自管 KV 缓存,成本降 27.7% 准确率反升 — _akhaliq · 2026-10-23