ReproEvalCard：让 LLM 管线评测可复现的报告标准提案

kalyan_kpl · x · 2026-11-05

Kalyan 提出轻量级报告标准 ReproEvalCard，规定复现与验证 LLM 管线评测所需的最低限度 artifacts。

核心问题：现代 LLM 系统评测依赖多阶段管线（RAG、工具型 agent、prompt 链），复现已发表的评测结果需要模型权重和数据集之外的大量评测专属材料——prompts、judge 配置、检索快照、中间 traces。但论文中经常缺失随机性控制与中间执行记录，严重限制评测可复现性。ReproEvalCard 提供一份精简 checklist 来解决这一问题。