AI 工程师必会的 11 种 LLM 评测方法，按评测目标分类速查
blaizedsouza · x · 2026-10-12
Daily Dose of DS 整理 11 种 LLM 评测方法，核心观点是没有单一指标能判断系统好坏，应按评测目标选方法：
有参考答案时（reference-based）
- BLEU：n-gram 精确率，衡量输出与参考的重叠
- ROUGE：偏召回率，衡量参考内容被覆盖程度
- BERTScore：比较上下文嵌入，语义相近即可得分
（帖中还列举了语义正确性判断、多步 agent 行为审查、不安全输出拦截等其余方法，按评测对象组织成速查表。）
引用部分另推荐 comet-ml/opik（GitHub 22.5k star，Apache-2.0）：为 LLM 应用、RAG 与 agent 工作流提供 tracing、自动化评测与生产级仪表盘，并提出「agent harness 应能自我修复」的思路——当 agent 在生产中失败时，可观测性工具只显示它做了什么，却几乎不告诉你可以怎么修。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser：让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- 1Password 推出 Agent 专用登录方案，AI 可代登录却不接触密码 — AndrewSchmidtFC · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令，作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23