开发者观察:大量推理服务商既不擅长推理也造不出需求
AccBalanced · x · 2026-10-31
开发者 thdxr 感叹当前推理服务(inference provider)数量泛滥:这些公司都囤了一些算力,但规模都不大,大多数既不擅长做好推理服务,也没有直接创造需求的能力, resulting in 资源浪费。这条观察切中了 LLM 推理层同质化竞争、算力过剩的现状,引发一定共鸣。
「Infra」频道最新
- K210 芯片跑 YOLOv2 人脸识别,自研固件冲上 30fps — alexcovo_eth · 2026-10-31
- 「可玩环境」来袭:毫秒级复制整套生产云供 Agent 沙盘推演 — matei_zaharia · 2026-10-31
- Apple 芯片性能过剩:只有本地跑 LLM 和剪 8K 视频的人能感知差距 — vivekhaldar · 2026-10-31
- 把 Ming-TTS 移植到 Zig/MLX,M4/M5 上推理提速 18 倍 — s_busso · 2026-10-31
- 推理云 Wafer 日token量冲至 OpenRouter 第三,达 1.9T — ycombinator · 2026-10-31
- 本地跑 Kimi K3.1 要 3 万美元,博主称私有推理值得这个价 — bookwormengr · 2026-10-31