决策模型热退潮后：prefill 与 decode 工作负载定价错配解析

hugobowne · x · 2026-11-07

shreya 在 hype 稍退后给出对「决策模型」(decision models) 的判断：它解决的是市场低效问题。不同工作负载差异巨大——prefill 占比、前缀复用程度、所需智能水平都不同，但推理定价模式却通常一样，导致 prefill 在补贴 decode，既贵又慢。现在出现了针对 prefill-only 工作负载更便宜、更快的专用端点。

背景是 TypeSafe 的引用讨论：他们把自家模型 Jev 称为「decision model」，但 shreya 认为如果把 Jev 的提问当作「做决策」来用，就是在错误的抽象层使用，可靠性会受影响。