拆解 ChatGPT 式架构:从请求到流式响应的九个环节
jawadhamza · reddit · 2026-10-06
- 博主梳理类 ChatGPT 生产系统的完整链路:用户 → API 网关 → 鉴权/限流 → AI 编排层 → 上下文与记忆 → LLM → 安全处理后处理 → 流式响应。
- 指出真正难的不是调 LLM API,而是百万级并发下的工程问题:请求分发、会话历史存储、发给模型的上下文量、逐 token 流式返回、模型/供应商故障降级、限流与队列、延迟与成本控制、横向扩容。
- 配套发布其「AI 时代的系统设计」系列第 2 集视频,完整图解从请求到模型再到响应的架构。
「Infra」频道最新
- SpaceX 申请在佛州建 52 公里天然气管道为星舰现场产甲烷 — DimaZeniuk · 2026-10-06
- 推理公司宣布做网关、网关公司宣布做推理，赛道边界加速消失 — michellechen · 2026-10-06
- 8GB 老显卡能否跑图生视频？ComfyUI 低显存方案求助 — Fluffy-Composer9675 · 2026-10-06
- RTX 4000 Blackwell 24GB 能否与旧 3060 12GB 组合跑本地大模型 — Otherwise-Tangelo-52 · 2026-10-06
- VFX 艺术家选本地 LLM：双 DGX Spark 还是 M5 Ultra 256GB — abrasmel · 2026-10-06
- Modal Runtime 大会更新:Endpoint Candidates、Modal Clusters 与 VM 沙箱 — graceisford · 2026-10-06