OpenAI 阐述计算解耦的三个阶段
beffjezos · x · 2026-08-26
OpenAI 在技术分享中解释了当前解耦计算的三个阶段：
- Prefill（预填充）：Context loading，加载上下文阶段。
- Draft（草稿）：Speculative decoding，投机解码阶段。
- Decode（解码）：正式生成 Token 的解码阶段。
这一划分有助于优化 LLM 的推理流水线。
「Infra」频道最新
- Toloka Train 推出微调与压缩工具，降本达 37 倍 — MParakhin · 2026-08-26
- 同预算下 RTX 6000 Pro 跑 ComfyUI 仍优于 Mac — shaunralston · 2026-08-26
- 微调谬误：模型饱和后成本比质量更重要 — rhythmrg · 2026-08-26
- 传 OpenAI 正加码自研芯片，代号为 Jalapeno — beffjezos · 2026-08-26
- OpenAI 芯片架构关键点：无虚算力，全是有效算力 — BenBajarin · 2026-08-26
- 爆料:谷歌疑似测试不可插拔水冷 XPO 设计 — jwt0625 · 2026-08-26