用 LLM 给上万条 agent 轨迹自动打标签并可视化对比分类分歧

enjalot · x · 2026-10-18

开发者 enjalot 展示了一套分析大量 agent 轨迹的工作流：用 LLM（如 jev 或 DeepSeek）为全部轨迹批量生成分类列，成本已非常低。配图是一张约 1 万条轨迹的树图（treemap），按分类分组、按成功与否着色：fulfilled 7,979、partial 1,006、failed 623、noresponse 392、clarifying 249 等，右侧面板用另一模型的分类结果着色，直观呈现两个模型分类的分歧（agent 只会给一致率百分比，而可视化能定位具体哪些轨迹分歧）。作者还在探索 treemap 分组、按长度定大小、平滑缩放查看轨迹细节、毫秒级万条消息 transcript 查看器、3D 与 UMAP 语义布局等轨迹可视化新方法。