实测两周:service_tier priority 对中转站首 token 延迟仅 +5.5%,属噪声
iambubu0523 · reddit · 2026-11-18
开发者自述为 DeepSeek Harness(DSH)构建 Fast Mode,通过 fetch hook 在 JSON 序列化后注入 servicetier: "priority",并用 8 组交错 A/B 探针实测对首 token 延迟(TTFT)的真实影响。
- 为何不用捷径:让模型"写短点"、自动降 reasoning effort、换小模型都改变了模型行为,不算真加速;priority 是唯一保持模型/推理档位/输出长度不变的机制。
- 测量设计:同一分钟内 standard/fast 交替轮询,TTFT 取流内首个 text-delta,每次请求断言参数确实上了线路,排除"没发出去"的假阴性。
- 结果:单轮首测 +23.6% 是噪声;8 组中位数仅 +5.5%,参数被接受(无 400/422)但服务器实际没做任何事——他推测多数中转站都是如此。
- 沉淀的三条规则:样本 <3 一律 inconclusive;按 host|model 聚合最近 5 次探针、需 ≥2 次快 ≥15% 才算 verified;400/422 是硬信号永不重试。
- 项目以 github:iambubu0523/dsh-turbo 安装,MIT、零依赖、46 个测试,含会话级 Fast 开关和 agent 可调用的 turbomode 工具;他呼吁有人在 OpenAI 真实 priority 档上跑并回贴数据。
「编程与Agent」频道最新
- 1.3 万星项目 Plannotator:给 AI 编码计划做 PR 式评审 — techNmak · 2026-11-18
- Red Hat 自身工程团队实测:开源权重模型将 token 成本砍 40-70% — AccBalanced · 2026-11-18
- 开源 Prefixwise 诊断 Agent 缓存未命中:注入 1772 处改动全部识别归因 — No-Individual159 · 2026-11-18
- 博主提前体验 Devin bots 并与开发者对谈其原理 — Madisonkanna · 2026-11-18
- 遗传算法自动调优 GPU 内核,7 小时冲进 Open Kernel Challenge 前二 — morgymcg · 2026-11-18
- 未来代码库八成由 AI 代写,研究者忧质量下滑成常态 — 996roma · 2026-11-18