异构预填充引热议：70B预填+7B解码早被试过

推理系统圈近日讨论将投机解码与预填充/解码解耦部署结合、用不同模型分别做预填充和解码的做法。开发者 bingxu 回应称早在 2023 年就尝试过用 70B 模型做预填充、7B 模型做解码，结果被认为完全没用。他还自嘲称自 2024 年起自己的角色变成「提示词工程师兼 Agent 工头」，基础设施工作全部交给 agent 完成，直言「我什么都不懂，但它们都行」。

2026-09-03 ~ 2026-09-03 · 3 条相关