小红书自研 RedDB 多模数据库:吞吐提升超50%,成本降一半
小红书技术REDtech · wechat · 2026-11-17
小红书存储与数据库团队详解自研分布式多模数据库 RedDB 的架构与实践。文章要点:
- 目标:以统一底座支撑宽表、向量、图等多种数据模型,服务搜索、推荐、广告业务,避免各模态重复建设分片、复制、故障恢复等基础能力。
- 架构:四层设计——数据服务、分布式引擎(Raft 复制、分片管理、弹性调度、流控)、存储与索引(基于 RocksDB 的行式引擎,列式引擎为演进方向)、数据持久化,并依托统一云平台 DMS 做运维。
- 宽表实践:逻辑分裂与物理迁移分离降低扩容开销;基于日志进度差的反压限流;行级原子写支持局部更新;针对稀疏数据优化扫描路径。
- 性能:对比测试中吞吐提升中位数超 50%,P99 延迟降幅中位数约 60%,集群月度成本平均降低 50% 以上。
- 多模演进:抽象统一模态接入接口,通过统一元数据、索引变更流维护、查询协调层解决数据关联、更新传播与查询协同,优先验证宽表+向量协作。
- 后续规划:平台运营跨服务治理、拓展向量/图模态、推进存算分离与跨模态计算。
「Infra」频道最新
- LLM 后训练中生成与训练并行致数据陈旧,系统分析如何提速蒸馏管线 — burkov · 2026-11-17
- SK 海力士对英伟达收入翻倍至 240 亿美元,但真正的集中风险在美系客户 — tengyanAI · 2026-11-17
- macOS 连续运行 49.7 天后 TCP 栈爆雷,新连接全部失败 — DanielLockyer · 2026-11-17
- 用 no_std Rust 把 200 万参数 embedding 模型跑进 16MB 的 ESP32 — qdrant_engine · 2026-11-17
- 语音 Agent 被背景噪音干扰 0/5 应答,自适应门控修复至 4/4 — shrapknife · 2026-11-17
- AMD Strix Halo 实现 int4×int4 WMMA,Gemma 4 31B 推理提速 2.43 倍且精度持平 — No-Dragonfly6246 · 2026-11-17