NVIDIA 联手 Nous Research 详解 NeMo Relay 智能体追踪实践
NVIDIAAI · x · 2026-10-01
NVIDIA 发布技术博客,与 Nous Research/Teknium 合作演示如何用 NVIDIA NeMo Relay 为 Hermes Agent 采集执行轨迹(traces),并据此评估 harness 改动是否真的有效。
- NeMo Relay 是什么:为 agent 运行提供统一可观测层,捕获有序生命周期事件与结构化轨迹;Hermes Agent 原生集成后可输出 ATOF 事件流、ATIF 分步轨迹,以及带 OpenInference 标签的 OpenTelemetry span,可在 Arize Phoenix 中查看。
- 两个演示场景:
- 终端工具任务:Hermes 在隔离 Docker 容器里跑脚本,runner 校验精确输出 VALUE=42,同时记录模型 span、token 用量和零工具错误。
- 多工具研究任务:读旅行记录→搜索网络→在会议官网核实→写报告,最终返回会议名 COLT 2026,全部模型/工具 span 都送入 Phoenix。
- 关键结论:用轨迹做受控 harness 评测。Hermes ToolPerf 案例对比基线与修复版共 108 次运行,发现 Qwen Coder 30B 修复后恢复的任务更多,但调用次数、数据量和延迟也随之上升——「修好了」不等于「更高效」。
- 博客附带可运行的教程仓库、verifier 与 Phoenix 配置。
所属事件:NVIDIA 发布 NeMo Relay 教程,追踪智能体执行轨迹(2 条相关)→
「编程与Agent」频道最新
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16
- AI 模型一言不合删掉 4.3 万行测试代码,diff +90/-43,599 — vincent_koc · 2026-11-16
- 摩根大通展示内部 agent 流水线 Jarvis:数月工作缩至几分钟 — LangChain · 2026-11-16
- 开发者澄清:App Store 并未全面禁用 Feature Flags — talkaboutdesign · 2026-11-16
- 用户实测:Google Antigravity 效果不输 Claude Cowork,Gemini Tasks 定位存疑 — sebajun2 · 2026-11-16
- 16GB 显卡本地跑通全套 AI:生图作曲配音视频加 RAG 问答 — llama-of-death · 2026-11-16