是石科技发布TokenFleet调度框架,达标Token吞吐提升约29%
量子位 · wechat · 2026-10-20
在 2026 CCF 全国高性能计算学术大会上，全栈算力运营商是石科技发布分布式调度框架 TokenFleet，针对推理集群「请求排队与资源闲置并存」的问题，聚焦请求路由、跨机房容量协同和混合负载治理，以有效（达标）Token 产出为核心指标。
框架包含三项技术：TokenPilot 在同一模型池内选实例，同时估算 KV 缓存复用收益与排队代价，GLM5.3 调优数据显示 P95 首 Token 延迟降低 32.4%、P50 降低 71.3%；FleetMind 面向跨机房，汇聚各机房模型可用性与网络状态，先选机房再选实例，受权限与数据地域约束；SLOMax 按输入长度、输出预算与租户服务目标做准入、分池排队与容量分配，示例中总吞吐仅增约 1.5% 但达标吞吐提高约 29.4%，达标比例从约 67% 升至 86%。
是石科技为第三方全栈算力运营商，纳管超 20000P 算力，运营 10 多个超智算中心，此前已发布单实例推理引擎 Meta-Infer，此次把优化推进到集群调度层。
「Infra」频道最新
- IFM 开源 RL360:8192 并发沙箱、130 万 rollouts 的 RL 基建 — rupspace · 2026-10-23
- SpaceX 拟接入 8 万座美国基站，博彩市场给了 29% 成运营商概率 — Polymarket · 2026-10-23
- Modular 宣布 MAX 框架开源：AI 计算不应被单一芯片厂商锁定 — clattner_llvm · 2026-10-23
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23