本地 Agent 观测：难点不在模型
kr-jmlab · reddit · 2026-07-16
作者分享了给本地 agent workbench 做可观测性的经验：他发现调试 agent 时，真正难的不是模型调用本身，而是**工具执行、MCP 服务、参数、成功/失败原因**以及这些行为如何回溯到具体对话。 ### 主要做法 - 把 OpenTelemetry 的 GenAI 语义约定和 Spring AI 内置埋点作为基础，先覆盖模型调用的耗时、tokens、finish reason 等信息。 - 再补齐模型之外的部分：工具调用、MCP server 健康状态、每个工具/服务器的成功率、对话与 trace 的关联。 - 给每个 tool-call span 加了 **L0-L5 风险等级**，用来做 Safety 面板和审批率分布分析，并建议把它扩展成 OpenTelemetry 语义约定。 ### 本地调试栈 作者最终搭了一套很小的本地观测链路：passive collector、带时间戳持久化的 ring buffer、live trace tail；同时把 conversation ID 和 traceId/spanId 写进日志，方便送到 Loki 或 Elasticsearch。 ### 仪表盘 他列出的面板包括 Overview、Tokens & Cost、AI Models、Tool Studio、MCP Servers、MCP Inspector、Vector Database、Agentic Chat、Safety、Host、Ollama、Web Application、Logs、Traces 等 14 个。 最后作者也在向其他 agent 开发者征求反馈：你们还监控什么指标？span 级风险标签是否值得？排障时最依赖哪个面板？