思科发布 Signals 2.0：45 类 agent 故障自动诊断，F1 达 91.43%
ptkbhv · x · 2026-11-11
思科推出 Signals 2.0，用于持续监测生产环境中 AI agent 的故障，配套论文已上 arXiv。
- 核心思路：agent 常在工具和基础设施正常时做出错误决策或浪费资源，非确定性行为难以复现和诊断。Signals 从 agent 执行轨迹中识别此类问题并给出具体修复建议。
- 方法：构建了 8 大类、45 种问题类型的分类体系，每种类型有定义与证据要求；区分已发生故障、风险暴露与低效，将相关发现聚合为工程问题（Signals）并评估严重性，每条附带可执行的修复动作和验证检查。
- 效果：在公开 agent 执行数据上评估，与参考问题匹配的 F1 达 91.43%，比使用同一模型和分类体系的一次性 LLM 基线高约 18 个百分点。
「编程与Agent」频道最新
- AiOS 演讲实录：让并行 Agent 更好地配合 Xcode 工具链 — Scobleizer · 2026-11-11
- DSPy 沙箱升级：移除 LiteLLM 后可在 Deno 沙箱内导入 DSPy — lateinteraction · 2026-11-11
- Fable 5.2 实测:两条提示词生成 FPS 射击与 3D 对战打砖块 — vista8 · 2026-11-11
- 9名工程师单日1211个PR：微软复盘Copilot Cowork工程课 — usamawahabkhan · 2026-11-11
- jieba-mcp：通过 MCP 协议给 AI 接上结巴分词能力 — modelcontextprotocol · 2026-11-11
- Jira MCP Pack 发布：把项目管理接入 AI 客户端 — modelcontextprotocol · 2026-11-11