哈佛发布 6.12 亿级 LLM 推理数据集:一年 61.2 亿次生产请求全开放
airesearch12 · x · 2026-09-20
哈佛 SEAS MadSys 实验室联合 Chutes、FreeInference 公开一整年的 LLM 推理服务元数据追踪数据集,共 61.2 亿次请求、覆盖 9,174 个模型,包含请求到达时间、输入/输出 token 数、缓存命中、TTFT 等,并附论文与代码,面向真实服务负载研究、调度与基础设施优化。
已发布的数据集:
- A Year in LLM Serving:Chutes 一年生产请求轨迹(模型使用、token 量、前缀缓存复用);userid 每三个月轮换
- GPU 与服务遥测:GPU 和推理引擎时间序列
- 即将推出:Chutes 对话/角色扮演数据集、agent 服务数据(块哈希、时序、工具调用)与原始 prompt 数据集
初步发现:
- 请求时间局部性极强:同一用户对同一模型的重复请求 99% 在 15 分钟内到达
- 简单的 LRU 缓存淘汰策略常与复杂策略相当甚至更优
- 缓存感知路由可提升 token 命中率,仿真中带来 5–7% 负载不均衡
所属事件:哈佛开放 61.2 亿次请求的真实 LLM 推理流量数据集(3 条相关)→
「Infra」频道最新
- a16z：H100 租金比直线折旧线高 54%，老 GPU 远未贬值 — a16z · 2026-11-12
- 开发者晒 AMD Strix Halo 跑通 ONNX：本地编译匹配 migraphx ABI — wavefnx · 2026-11-12
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12