算账：int8 稠密向量存储比二值化 ColBERT 还贵近一倍
antoine_chaffin · x · 2026-08-25
针对「多向量检索索引太大」的常见说法，antoinechaffin 用 MS MARCO（880 万文档）算了笔账，结论反转直觉：
- ColBERT（每文档 32 token，投影维度 128，文档侧二值化）：约 4.5 GB；
- 稠密向量（每文档 1 个 768 维向量）：FP32 约 27 GB、BF16 约 14 GB、int8 约 7 GB——即使用 int8 存储仍是二值化 ColBERT 的近两倍。
结合 Mixedbread 的非对称二值量化结果，他认为典型应用下标准 PLAID 索引已经比目前主流的 >4000 维单向量表示更小或相当；问题在于好基础设施的普及度，而非技术挑战本身。
所属事件:检索社区澄清 Late Interaction 误区：索引大小早已不是瓶颈(9 条相关)→
「研究」频道最新
- WorldMemArena 中选 NeurIPS:存储式 Agent 记忆评估遭颠覆 — xwang_lk · 2026-10-16
- 机械可解释性老将反思:对齐≠误解泛化,CoT 监督的隐忧 — akbirthko · 2026-10-16
- WEDGE 论文：把导航失败经历变成可学习的训练环境 — _akhaliq · 2026-10-16
- RExBench 基准:最强编码 Agent 自主完成研究扩展成功率仅 33% — najoungkim · 2026-10-16
- Google 发布 CLASHarness:基准测试多智能体冲突下的计算机操作能力 — google · 2026-10-16
- 清华团队证明:普通 Flow Matching 采样无法突破固定深度模型表达力上限 — SQZ · 2026-10-16