OpenRouter 重写路由算法：首 token 快 20%，限流错误少 60%
AccBalanced · x · 2026-10-30
OpenRouter 发布了自创立以来最大的一次 provider 路由升级。旧路由主要按价格优先排序，新算法改为按"实际成本下的最佳推理质量"奖励：早期对比数据显示，TTFT 提速约 20%，吞吐提升约 20%，回退（fallback）减少约 40%，限流错误减少约 60%。官方称这将显著抬高开源权重模型推理的体验下限，且提供更优服务的供应商会自动获得更多流量，形成持续改进的正循环。
「Infra」频道最新
- Ben Bajarin 发现 Claude Duet 自称跑在 Xeon，Dot 在 EPYC — BenBajarin · 2026-10-30
- Sam Altman 称本地推理是糟糕的资源配置，引来「你的车也不该归出租车公司」反驳 — TheZachMueller · 2026-10-30
- DCOCO 论文：并行投机解码加速至 6.6 倍，吞吐超竞品 6-23% — burny_tech · 2026-10-30
- 三大厂季度自由现金流从 607 亿骤降至 74 亿,资本开支翻倍吞噬利润 — JFPuget · 2026-10-30
- 90年代 SGI 工作站要 10 万美元一台,今天 Mac Studio 便宜太多了 — dreamwieber · 2026-10-30
- Amazon 资深科学家谈 AI 落地:单位经济学优先,开源仅落后数月 — arena · 2026-10-30