STE 正则化让 ColBERT 实现 5 倍压缩仍保留 99.4% 检索效果
antoine_chaffin · x · 2026-11-11
Antoine Chaffin 介绍 Hugging Face 上的新文章:在之前分层池化(hierarchical pooling)可将 ColBERT 存储减半且不损检索的基础上,引入与修复 MUVERA/SMVE 时相同的 STE 正则化技巧,把压缩率推到 5 倍、保留 99.4% 检索效果,且不伤全 token 性能。核心洞察:想要可压缩性,最好的方式是直接为它训练。文章还探讨了按预算匹配目标、自适应预算(不同文档信息密度不同)等内容,并发布 LateOn-hpool-regularized 等模型。作者同时提到 MTRL 对多向量模型有价值,认为当前多向量维度仍太大。
「Infra」频道最新
- 微软工程师揭秘 Maia 加速器：如何每天服务数万亿 token — thoefler · 2026-11-12
- LMSYS megakernel 把解码推到 1,109 tokens/s,启动数从 1450 降到 97 — ying11231 · 2026-11-12
- 独立开发者用 Rust 写整套 AI OS：无头运行，跑 Qwen3 27b 比 Ubuntu 快 — W61k3r · 2026-11-12
- OpenRouter 新路由算法见效:GLM 5.3 Flash 首字延迟降 40%、单价降 17% — AccBalanced · 2026-11-12
- AMD 与 Dell 拿下 182 项世界纪录，EPYC 性能提升 94% — AccBalanced · 2026-11-12
- KubeCon 主题演讲：计算系统正从人类速度转向 Agent 速度 — HowDevelop · 2026-11-12