Armin Ronacher 长文解析：reasoning effort 如何写进系统提示词并破坏 KV 缓存
mitsuhiko · x · 2026-08-20
Flask 作者 Armin Ronacher 发表长文《What Is Reasoning》，从一篇能从闭源模型提取推理轨迹的论文出发，澄清了 Twitter 上关于 CoT 泄漏的诸多误解：
- 推理轨迹并不神秘：它本质就是普通文本，模型被训练成在回答前的"草稿区"（scratchpad）输出思考过程。以 GPT-OSS 的 Harmony 格式为例，analysis 通道与 final 通道使用同一种文本，只是由特殊 token 分隔，解析器据此把推理文本路由到单独的 API 流；闭源模型则可能由另一个模型做脱敏与摘要。
- reasoning effort 其实写在系统提示词里：早期 API 暴露的"推理 token 预算"让它看起来像采样参数，实际上推理力度是烤进 system prompt 的。
- 文章还解释了为何修改 reasoning effort 会使 KV 缓存失效，以及 CoT 轨迹为何会泄漏——对于做推理服务优化的工程师很有参考价值。
「模型」频道最新
- 数据说话：路由和安全分类用决策模型，中位速度快 7-8 倍 — randal_olson · 2026-10-16
- 小米 MiMo V2.6 Pro 登顶 Agent Arena 开源榜，成本仅 $0.11/任务 — arena · 2026-10-16
- ChatGPT 推荐视频工具时提示「可通过 Runway 集成获取」，被讽疑似软广 — tlakomy · 2026-10-16
- 微软 MAI 自研 3T 参数级预训练基座模型完成，后训练结果即将公布 — soumitrashukla9 · 2026-10-16
- 实测 Gemini 4 Argon：速度远超 Opus 5.5，但幻觉多且贵 — prasenx · 2026-10-16
- Bindu Reddy 呼吁 Meta 开源 Wonder:称其略强于 DeepSeek — bindureddy · 2026-10-16