NVIDIA 推出 AI 全栈集成基准,支持会话亲和性控制
_ScottCondron · x · 2026-08-26
帖子讨论了模型、工具链和基础设施的融合趋势,指出整个 AI 栈将从基础设施到 token 再到 agent 进行集成和优化。作者发布了一个相关基准,并提到 nvext.agenthints 作为一个实例,允许用户在工具链中传达会话亲和性(session affinity)并控制 KV 缓存。
「Infra」频道最新
- AC2 私测发布:打造模型工厂,支持训练推理与持续改进 — ypatil125 · 2026-08-26
- KeenableAI 获 2600 万美元,推 AI 原生搜索 — saranormous · 2026-08-26
- Youdotcom 搜索 API 夺冠,18 秒获 74 分 — RichardSocher · 2026-08-26
- 16 t/s 难应付编码,本地推理仍受限 — natesiggard · 2026-08-26
- M6 Mac Mini 售价降至 899 美元 — andrejusb · 2026-08-26
- ADI 预测 2031 年前数据中心基建将达 100GW — BenBajarin · 2026-08-26