同模型不同速度：FriendliAI 靠缓存层级与投机解码快至 7 倍
AI Engineer · youtube · 2026-10-12
AI Engineer World's Fair 演讲，FriendliAI 创始工程师 Yunmo Koo 论证「开源权重模型够强，差距在推理服务商」：
- 开源权重已跨过门槛：GLM 5.2 与 Claude Opus 4.8 用同一 prompt 造出相似的塔防游戏，GLM 5.2 便宜 5.6 倍以上。
- 同一模型不同服务商速度迥异：同一模型+同一 coding agent，FriendliAI 约 2 分钟建成 Candy Crush 风格游戏，另一家超过 3 分钟。
- 差距来源：prefix caching + cache-aware routing；GPU/CPU/NVMe 三级缓存层级应对 agent 场景长而重复的输入；混合投机解码随实时流量自适应。
- 可靠性即速度：agent 一次调用失败即毁掉整轮运行。
- 实测数据：Kilo Code 接入后响应最高快 7 倍且错误更少。
「Infra」频道最新
- Claude 模型登陆 Google Cloud:Anthropic 托管版正式可用 — claudeai · 2026-10-23
- GLM-5.3-Flash 实现 1M token 上下文训练，较基线提升 64 倍 — AndrewLBeam · 2026-10-23
- Perplexity 联手 AMD 推便携 AI 主机，本地跑 27B 模型做实时研究 — AravSrinivas · 2026-10-23
- Liquid AI 发布 RIPL 推理引擎：端到端响应快至 50ms 内 — JosephJacks_ · 2026-10-23
- OpenJet 引擎宣称 Qwen3.8-27B 推理速度达 llama.cpp 1.9 倍 — JeremyCMorgan · 2026-10-23
- 黄仁勋拆解 NVIDIA Vera Rubin 智能体系统四大组件 — rohanpaul_ai · 2026-10-23