从“能做什么”到“如何高效服务”：AI 基础设施的一年之变

demian_ai · x · 2026-07-11

Nebius AI 员工在参加 RAISE 峰会后回顾了 AI 行业过去一年的显著变化。 - **重心转移**：去年的热点还停留在展示模型的基础能力，而今年的核心议题已转向如何让 AI 变得快速、可靠、经济且足够实用，以支撑下一波 AI 产品的爆发。 - **算力需求演进**：市场逐渐从单纯购买原始 GPU 算力，转向关注跨模型、跨云平台的 AI 基础设施运营。 - **推理工程化**：作者主持了关于“从调用 AI 到工程化 AI”的工作坊，强调掌握路由、KV 缓存、预填充/解码分离、投机解码、MoE（混合专家模型）、延迟和单 token 成本等底层技术的重要性。