RAGMark 基准框架：逐阶段剖析 RAG 延迟与能耗，优化后能耗降 66%
_reachsumit · x · 2026-09-09
论文 RAGMark 提出一个模块化的 RAG 系统基准测试框架，面向小规模多 GPU 环境。
- 覆盖检索器、向量数据库、prompt 处理与生成模型等组件，采集每阶段延迟、GPU 利用率、显存、功耗、TTFT、吞吐与答案质量等指标。
- 框架高度可扩展，将 RAG 阶段、计时与资源监控解耦为模块，可高效扫描大配置空间。
- 在开放域 QA 数据上刻画五种 RAG 工作负载：朴素管线中自回归生成主导延迟，而上下文压缩技术会使瓶颈在算力、内存带宽与预处理阶段之间转移。
- 重排序与压缩有叠加收益：二者共同降低 prefill 与 KV-cache 遍历成本，最多可将能耗降低 66%。
「Infra」频道最新
- 同等预算怎么选：MacBook Air 搭 48GB 显存台机 vs MacBook Pro 64GB — gappyvalley · 2026-09-09
- NVIDIA 官宣 CUDA Rust:用 Rust 写 GPU 内核的两条路线 — ducha_aiki · 2026-09-09
- OpenAI 与三星联合研发生产下一代 AI 芯片 — rohanpaul_ai · 2026-09-09
- Hetzner VPS 两年账单涨 543%,用户晒 €5.3 到 €34 涨价单 — ThePeterMick · 2026-09-09
- Harbor OSS 周处理 80T tokens，已超 OpenRouter 的 70T — simonguozirui · 2026-09-09
- Supabase 开源 Multigres:兼容 Postgres 可扩展至 PB 级 — dshukertjr · 2026-09-09