去掉目录拷贝:在 Apache Pinot 上直接跑混合搜索,2.77 亿商品向量+BM25 p50 仅 6.5-9ms
_reachsumit · x · 2026-11-11
arXiv 论文展示把电商混合搜索直接架在数据湖上，无需再维护独立的搜索引擎和向量库副本。
- 以 Iceberg + Parquet 湖仓表作为唯一事实源，扩展 Apache Pinot：加 BM25 相关性打分 (Lucene 索引)、全局词频统计保证跨文件分数可比、纯 SQL 的倒数排名融合 (RRF)
- Amazon ESCI 基准 (120 万商品、22,458 条测试查询) 上，湖上混合搜索 nDCG@10 达 0.361，与精确检索持平；文件注册后 149 秒可查，湖 commit 3.8 秒可搜
- 2.77 亿商品 (0.8TB) 按品牌分区的湖上，单台 16-vCPU 节点品牌范围向量/BM25/混合搜索 p50 为 6.5-9ms，p99 <180ms 下每秒支撑 1,100 次向量、635 次 BM25 搜索
省掉每套检索栈各自的 ingestion、schema 漂移和账单。
「Infra」频道最新
- 网友提议数据中心建地下：余热融雪、地面还作公园 — MatthewChang · 2026-11-11
- SpaceX 拟在得州 Starbase 建 240 亿美元 AI 数据中心与天然气电厂 — Polymarket · 2026-11-11
- 微软 Auto SR 正式上线 Xbox Ally X,掌机模式支持 1080p 与 120fps — tomwarren · 2026-11-11
- Gemini 4 Carbon 登陆 Databricks,企业文档测试得分 66.7% — matei_zaharia · 2026-11-11
- Anthropic:让 Claude 移植内核，3 天跑通 AMD GPU — scottleibrand · 2026-11-11
- Kimi K3.1 Pro Highspeed 登陆 Bedrock:速度提升 2-3 倍、百万 token 上下文 — AWS ML Blog · 2026-11-11