Inworld 推出 Flex 推理档:繁忙时可拒单,不付费但只适合能等待的任务
dr_cintas · x · 2026-10-15
推理服务商 Inworld 宣布对外开放其推理服务,称每月已处理数十万亿 token,推理栈专为消费级 AI 应用从零构建,头部消费级 AI 应用正在使用。
其中 Flex 档的独特设计引发讨论:用户 cramforce 实测指出,Flex 在服务繁忙时可以直接拒绝请求——这部分不收费,但代价是任务必须能容忍等待,因此只适合放置可延迟的作业。对成本敏感、时效要求不高的推理负载(如批量处理)这是一个值得考虑的低成本选项。
「Infra」频道最新
- 算力是下一个大宗商品:GPU 是油井,token 是燃气 — AnneliesGamble · 2026-10-15
- OCP 关键幻灯片:Rubin Ultra NVL576 用 CPO 做 scale-up — BenBajarin · 2026-10-15
- TensorFold 推出 macOS 应用,本地跑开源模型实测 874 tok/s — HankYeomans · 2026-10-15
- Enroute 开源:Raft+S3 打造单仓 7600 并发推送/秒的 Git 服务器 — DanielLockyer · 2026-10-15
- 分析:若信贷收紧,neocloud 承压,超大规模云厂反而受益 — RihardJarc · 2026-10-15
- OCP 光互连秀肌肉:InnoLight PIC 现场故障率 FIT<0.01,Credo 推 LPDDR 扩展 — AccBalanced · 2026-10-15