推理服务创业实测:能持续改进模型的训练能力才能留住客户
ypatil125 · x · 2026-09-23
一位推理服务创业者分享数月来的业务观察：推理业务快速增长，但真正的护城河是训练能力——当服务商能帮助客户改进模型本身时，推理就不再是同质化商品。
核心观点：
- 模型应该「越用越好」：客户有明确的评测指标和优化目标时，可借助在线训练技术系统性改进模型行为
- 提到具体方法：On-Policy Self Distillation（在线策略自蒸馏）与前沿级 RL 后训练
- 结论：面向「持续改进模型」的推理服务是方向，更多进展即将发布
「Infra」频道最新
- AWS 开源 Strands harness：同一模型 agent 包裹层省 28% token — shashib · 2026-09-23
- 机箱风道调优实战:多 GPU 从 80°C 压到 68°C 无需水冷 — HankYeomans · 2026-09-23
- 阿里加速全球 AI 布局,将在欧洲与中东新建数据中心 — Polymarket · 2026-09-23
- 决定推理性能的是 Kernel 而非模型:同一模型同卡表现可天差地别 — Roger_M_Taylor · 2026-09-23
- 苹果官宣 Mac mini/Studio 主打 AI 升级，被称 AI 开发标配硬件 — BLUECOW009 · 2026-09-23
- 阿里 V900 芯片对标 Blackwell,但国内份额仅 16% — pstAsiatech · 2026-09-23