evalstats:抗LLM裁判偏差的统计测试工具开源
IanArawjo · x · 2026-07-30
开发者 Ian Arawjo 发布了 evalstats 包的更新，引入了针对 LLM 裁判偏差进行校正的统计测试方法。
- 核心功能：提供严谨的统计分析，适用于从模型对比、提示词比较到统计推断等各类 LLM 评估场景。
- 抗偏差能力：特别针对小样本数据设计，能够有效抵御 LLM 作为裁判时产生的偏差。
- 可用性：相关方法已通过蒙特卡洛模拟的实战检验，开发者现在就可以使用该工具分析人机混合研究的数据。
「编程与Agent」频道最新
- 实测 AI 编程 Agent 成本：开 PR 中位数约 27 美元 — zeeg · 2026-07-30
- Grok Build 更新：强化无头流式输出与工具调用支持 — XFreeze · 2026-07-30
- LlamaIndex 创始人:一两年内人类或将不再审查 AI 代码 — dotey · 2026-07-30
- MCP 协议将迎无状态重写：可视化指南解析新架构 — dima806_dima · 2026-07-30
- ARC-AGI-3 评测 API 澄清：reasoning 字段用于记录模型输出 — GregKamradt · 2026-07-30
- Claude Opus 5 单文件 2.3MB 复刻《辐射》游戏 — chrisfirst · 2026-07-30