企业从拼token转向模型路由控成本
rohanpaul_ai · x · 2026-07-06
分析指出企业正从“拼token(tokenmaxxing)”转向“模型路由(modelmaxxing)”,因为AI账单让无限制使用前沿模型难以持续。做法是让便宜模型处理草稿、排序、摘要、测试和首轮推理,前沿模型留给失败成本高的任务。数据显示使用路由器的企业比例从约1%升至5%。核心思路是把每个AI请求当作“成本-质量”决策而非空白支票,可按用户层级、延迟、价格等规则路由。
「Infra」频道最新
- WEKA NeuralMesh 被指在 GPU 服务器上可接近 HBM3 带宽 — AccBalanced · 2026-07-27
- Nvidia 被调侃成开源 AI 领头羊,仓库图却真排第一 — AccBalanced · 2026-07-27
- 8 美元 ESP32-S3 竟能离线跑 2890 万参数模型 — yangyi · 2026-07-27
- YC 演讲谈 BCI × AI:真正决定速度的是基础设施 — garrytan · 2026-07-27
- 13B 模型靠 SSD 分页在无独显电脑上离线跑通 — ID_R_McGregor · 2026-07-27
- llama.cpp 提醒:旧版 GGUF 在新改动后必须重生成 — EconomySerious · 2026-07-27