开发者吐槽第三方推理服务乱象：Gemini 一年涨 10 倍
julianharris · x · 2026-09-29
开发者 Julian Harris 分使用按 token 计费的第三方推理服务的糟糕体验，列举多个故障模式：
- 数据强转中国：Together 上多数（或全部）中国模型需强制把数据传到中国
- 吞吐量极不稳定
- 速度离谱地慢：OpenAI Luna low 响应 15 秒，其他服务 1-2 秒
- 疯狂涨价：Gemini 过去 12 个月涨了 10 倍，明年 1 月还要再翻倍
- 严格限流：Groq 因无法服务好新客户而严格限制用量
他表示 OpenRouter 的 10% 溢价可能真的值这个钱。
「Infra」频道最新
- 开源项目 Celesto：给 AI Agent 一台 500 毫秒启动的专属电脑 — aniketmaurya · 2026-09-29
- 算账：Meta Muse 即便激进优化，每用户年成本也达 50 美元 — bookwormengr · 2026-09-29
- 手机+三台 Mac+两台 PC 拼出 60GB 内存,跑通 gpt-oss-120b — ANR2ME · 2026-09-29
- BioNeMo 团队优化稀疏模型训练：Mixtral 吞吐提升 2.21 倍 — AllThingsApx · 2026-09-29
- DeepSeek 弹性计算团队大量招人，发布大规模 Agent 训练沙盒基建分享 — teortaxesTex · 2026-09-29
- Nereus 自适应并行运行时：RL 后训练 PPO 吞吐最高提升 7.27 倍 — Songlin Jiang · 2026-09-29