软件工程师推理工程实战指南:何时弃用 lab API
mikeflache · x · 2026-11-18
一篇面向软件工程师的推理工程(inference engineering)实操深文被转发推荐,核心问题:什么时候该放弃前沿 lab 提供的 API、自建推理?文章覆盖选模型与供应商的取舍、缓存策略、专用 GPU 的时机、KV cache 相关考量等实务话题,是自托管推理决策的 practical deepdive。
「Infra」频道最新
- 英伟达投资网图流出:5000 亿平台零成交,AI 交易泡沫争议升温 — GaryMarcus · 2026-11-18
- 跨节点训练慢的真凶:61GB 基座模型被迫走 15GB/s 的 TCP — FerdinandMom · 2026-11-18
- 实测 HuggingFace Jobs 跑 GRPO:改一处代码每步快 40% — FerdinandMom · 2026-11-18
- 网友晒英伟达全家桶 GPU 合影:堪称「万亿美元收藏」 — LinusEkenstam · 2026-11-18
- Starlink 十一年建成最大卫星星座:在轨超 11100 颗、用户 1360 万 — XFreeze · 2026-11-18
- 英伟达前销售高管卷入芯片走私调查,或被约谈 — steph_palazzolo · 2026-11-18