10 个开源 LLM 可观测与评测项目，助你管住上线后的 AI 应用
Shruti_0810 · x · 2026-11-02
一份 GitHub 开源项目清单，聚焦 AI 应用上线后最难的部分——可观测性、评测与成本控制：
- Langfuse：追踪 LLM 调用、prompt、token 用量与应用成本
- Arize Phoenix：排查 trace、评测输出、调试 RAG 管线
- Promptfoo：上线前测试不同 prompt 与模型，提前发现失败案例
- DeepEval：对质量、幻觉、RAG 做自动化评测
- TruLens：度量检索与生成两阶段的协同效果
- 配图还提到 LiteLLM（62k stars 的 AI Gateway，Rust 核心 + Python SDK，统一调用 100+ LLM API）
整体是一份面向工程实践的 AI 应用质量保障工具索引。
「编程与Agent」频道最新
- Agent 团队多久同步一次？优化理论给出成本最优解而非安全上限 — peter_richtarik · 2026-11-02
- 腾讯发布 Hyra 2.0:研究智能体从解题转向造可复用工具 — TencentHunyuan · 2026-11-02
- 无编排器 agent 集群翻车实录:7 个坑与对应修复方案 — LostHumanity67 · 2026-11-02
- 强制 yes/no 判定让模型对哥德巴赫猜想给出 95%+ 置信度 — Nir777 · 2026-11-02
- 自动化接管日常工作后,打工人为何仍需坐满 8 小时? — Am1rSori · 2026-11-02
- General Reasoning 首发博客:详解如何用强化学习训练 Agent 集群协作 — rosstaylor90 · 2026-11-02