旧金山 AI 圈狂聊 OSL，却忽视了缓存命中率
dylan522p · x · 2026-08-08
开发者指出，当前旧金山 AI 圈的热点话题集中在 OSL（推理服务层）上。然而，同样对大模型推理性能和成本至关重要的 ISL（推理服务层另一维度或实现）以及缓存命中率，却鲜少有人公开讨论。
「Infra」频道最新
- 深度分析：中国干预美国数据中心争议的证据有多弱？ — AndyMasley · 2026-08-08
- 5万美元公开对赌：质疑 SemiAnalysis 数据中心与SpaceX营收预测 — generativist · 2026-08-08
- 美国迎“第二次建筑大分化”，数据中心成就业增长最快引擎 — ivan_bezdomny · 2026-08-08
- 8 张 RTX 6000 跑 GLM 5.2 实测：推理速度达 385 tok/s — max_paperclips · 2026-08-08
- 算法突破缓解内存短缺，模型瘦身将重击 HBM 与存储芯片需求 — bookwormengr · 2026-08-08
- 初创公司 Radixark 暗中支撑 xAI 等大厂推理 — bookwormengr · 2026-08-08