14 分钟视频还原 ChatGPT 一次问答之旅:从回车键到 GPU 再返回

Glass-Garden-5888 · reddit · 2026-11-13

作者制作了一个 14 分钟视频,追踪一条提问从按下回车到 GPU 再返回屏幕的完整旅程。内容覆盖:消息以 JSON 形式发出,经边缘服务器、约 6400 公里跨大西洋海底光缆;OpenAI 前端的登录、限流与 tokenization;数据中心里 72 GPU 的机架,以及你的问题为何要和成千上万请求批量合并;模型内部:embeddings、真实的注意力头、MLP 神经元、12 层结构、softmax 投票、temperature 采样与逐 token 生成的循环;最后答案逐词流式回传。严谨性说明:OpenAI 内部细节未公开,模型部分用同架构、开放权重的 GPT-2 small 实测,屏上所有数字都是实测值;ChatGPT 侧属于推测的部分在视频中明确标注,旁白为 AI 配音。