Together AI 柏林 Open Haus:n8n、NVIDIA 工程师谈开源模型生产化
togethercompute · x · 2026-10-21
Together AI 在柏林举办 Open Haus 社区活动,n8n 与 NVIDIA 的工程师分享了在生产环境运行开源模型的经验。现场幻灯片涉及推理路由优化:如何按 cache 命中最优来路由请求——全局路由选对 DC,按 promptcachekey 保持同会话粘性,按 prefix hash 路由到最长已缓存前缀,以提升前缀缓存命中率。
「公司和人」频道最新
- Vasuman 长文:大公司 AI 转型该从哪下手?没有银弹 — vasuman · 2026-10-21
- 马斯克:星舰第15飞将尝试同时回收助推器与飞船 — XFreeze · 2026-10-21
- Aleksander Madry 重返 OpenAI，与 Merytm 共掌超智能安全 — sama · 2026-10-21
- a16z 对话 OpenAI 健康 AI 负责人：3 亿人每周用 ChatGPT 问健康问题 — a16z · 2026-10-21
- YC F26 黑马：四名大学辍学生做机器人云端推理 — ycombinator · 2026-10-21
- Dwarkesh 预告：与 MrBeast 的对谈节目 12 月上线 — davidsenra · 2026-10-21