Cohere 迁移 Blackwell,多项负载 token 成本与延迟降 30–50%
cohere · x · 2026-09-10
- NVIDIA 发布《AI Tokenomics》白皮书,提出推理 token 经济的四支柱框架:token 价值(Utility)、需求预测(Demand)、供给优化(Supply)、定价变现(Monetization),并附 Cohere、Perplexity、Canva 案例与需求预测工作表。
- 核心观点:数据中心正变成「token 工厂」,推理成为主导负载,企业需学会生产、管理和变现 token。
- Cohere 案例称,把生产负载迁移到 NVIDIA Blackwell 后,多项工作负载的 token 成本下降、吞吐量提升、首 token 延迟降低 30–50%。
「Infra」频道最新
- 8GB 显卡跑 130M 模型 100 万步不崩：自适应显存调度器实验 — uBazzyZ- · 2026-09-10
- Epoch 数据：头部 AI 公司算力年增 4 倍，OpenAI 两年涨近 20 倍 — Jsevillamol · 2026-09-10
- 128GB Strix Halo 跑 Qwen3.8 Flash：Q4+Q8 n-gram 混合量化的内存账与困惑度实测 — MarkoMarjamaa · 2026-09-10
- 新用户携项目入驻时，Agent 自动生成最优 Dockerfile 优化启动时间 — lucasmeijer · 2026-09-10
- OpenAI 算力两年暴增近 20 倍,头部公司年增 4 倍 — The Verge AI · 2026-09-10
- Keras 推出 ZeroModels:100+ 模型族纯 Keras 3 跨后端运行 — fchollet · 2026-09-10