NVIDIA 推出 AI 全栈集成基准,支持会话亲和性控制

_ScottCondron · x · 2026-08-26

帖子讨论了模型、工具链和基础设施的融合趋势,指出整个 AI 栈将从基础设施到 token 再到 agent 进行集成和优化。作者发布了一个相关基准,并提到 nvext.agenthints 作为一个实例,允许用户在工具链中传达会话亲和性(session affinity)并控制 KV 缓存。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →