qwen-code 功能请求:按模型显示 TTFT 与输出速度,现有统计口径有误

qqqys · ghdev · 2026-10-19

issue 请求在 Web Shell 的 Token Usage 面板中按模型展示平均首 token 延迟(TTFT)和输出速度(tokens/s),并指出当前测量口径错误:一是纯工具调用响应的 TTFT 被算成整个请求耗时,因为 OpenAI 转换器只在流式完成后才发出 functionCall,而实际上工具调用开始流式输出时就是可见输出;二是输出速度用 durationms - ttftms 计算,durationms 在消费端处理完最后一个 chunk 后才取值,单 chunk 响应会被算成数千 tok/s 或被丢弃。建议改为测量首个到最后一个可见 chunk 的时间,并在 daemon 统计路由上增加按模型的聚合计数。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →