Simon Willison 发布轻量级 LLM 评估工具 smevals

Simon Willison · rss · 2026-08-01

Simon Willison 联合 Prime Radiant 实验室发布了 smevals，这是一个轻量级的评估套件，专为测试不同模型配置、提示词和框架能力而设计。

该工具主打与 AI 编码助手无缝协作：开发者只需让编码 Agent 运行 uvx smevals docs 即可自动学习并构建评估套件。它将运行和评分操作解耦，支持通过 YAML 文件定义检查规则，并能启动本地 Web 服务器或生成静态 HTML 报告以供结果分析。