网友测称 Anthropic 模型生成速度快过 DeepSeek,但 API 首字延迟蹊跷
teortaxesTex · x · 2026-10-10
teortaxesTex 根据实测数据指出,按某些口径衡量,Anthropic 的模型生成速度现在已经快过 DeepSeek-Flash,不过在 API 上表现出异常长的首字延迟(TTFT)。
他推测这可能不是真的快,而是服务端在做前置处理:疑似先完成 screening/rewriting,再延迟输出 token 流——这种做法也可能顺便掩盖了 batching。作者也自嘲这属于 shitposting,部分速度数据可能只是 Cherry 客户端计账方式的产物。
整体是关于前沿模型推理速度与 API 流式行为的一次技术性观察与猜测。
所属事件:实测称 Anthropic 生成速度反超 DeepSeek,但 API 首字延迟异常(2 条相关)→
「Infra」频道最新
- Bittensor 算力租赁月报:支出增 45%,租约失败率降 32% — markjeffrey · 2026-10-10
- 给 Grok Bot 配 pit crew：前沿模型做规划，免费模型干杂活 — alexcovo_eth · 2026-10-10
- AI 热潮变债务热潮:Oracle 5年CDS 近纪录261bp,隐含违约率20.4% — cyb3rops · 2026-10-10
- Fireworks AI 遭内部凭证被盗用,已撤销并称未见客户数据受影响 — lqiao · 2026-10-10
- 美国电网今年新增 86GW,AI 实验室需求达数百 GW — FinanceYF5 · 2026-10-10
- Qwen3.6 35B-A3B 跑进 6GB 显存：131K 上下文 + 视觉，附完整 llama.cpp 配置 — Szadbaverem69 · 2026-10-10