HTEB 动态评测：16 个开源 embedding 模型鲁棒性大不同
kalyan_kpl · x · 2026-11-04
研究者提出 Harder Text Embedding Benchmark(HTEB),一个动态评测框架,针对 MTEB 等静态基准的缺陷:静态榜单只给每个模型一个总分,把鲁棒性当作标量属性,掩盖了不同类型的失败。
HTEB 在评测时用 LLM 对输入做随机变换,沿三个可解释维度挑战模型鲁棒性:
- 词汇/风格变化
- 长度变化
- 语言变化
在 32 个数据集、覆盖 42 种语言上评测了 16 个开源 embedding 模型,主要发现:
- 各模型在三个维度上的鲁棒性表现部分解耦,单一总分无法反映真实短板
- 在三个模型家族中,规模增大可提升绝对分数,但鲁棒性画像仍各有差异
「研究」频道最新
- 前OpenAI研究员审计Weight-Space编程论文:非RSI但安全担忧真实 — RichmanRonald · 2026-11-04
- Dietterich:机器遗忘也是一种权重空间编程，值得对比研究 — tdietterich · 2026-11-04
- 新研究提出合成图像语义异常检测:用常识错误鉴别 AI 生成内容 — burkov · 2026-11-04
- 伯克利团队提出 Value Forcing:在每个噪声层级强制 Bellman 一致性 — berkeley_ai · 2026-11-04
- LLM 驱动的 living review：协议注册 OSF，代码 MIT 开源 — maier_ak · 2026-11-04
- 会自我更新的系统性综述：LLM 每月自动重跑检索与筛选 — maier_ak · 2026-11-04