上下文窗口≠最大输出:开发者常混淆的 6 组 API 术语

ClickOk5811 · reddit · 2026-10-24

Reddit 帖整理了 API 使用问题中最常被混淆的几组概念:

上下文窗口 vs 最大输出 token:上下文窗口是单次请求可处理的总 token(输入+输出),最大输出是单独、通常更小的回复长度上限;窗口大不代表能写长答案,长提示会挤占回复空间。
token vs 单词:token 是文本切块而非单词,英文平均略低于 1 词/token,其他语言、代码和数字更费 token;估算成本前先用 tokenizer 数一遍。
temperature vs topp:都控制采样随机性但方式不同,官方建议只调其一,便于归因行为变化。
temperature 0 ≠ 确定性:低温只提高可重复性,不保证多次调用结果完全一致,需要一致性应做输出校验。
reasoning token:推理模型的内部思考 token 计入输出 token、计费和输出上限但不可见;回复被截断且无可见文本可能就是这个原因,部分推理模型不接受 temperature 等采样参数。
system/developer 消息 vs 用户消息:指令层级中优先级不同,要强制执行的规则应放 system/developer 消息,但两者都不是抵御不可信输入的安全边界。

「编程与Agent」频道最新