评测可信度根源在封闭：学者提出 Eval Card 与公开评测仓库方案
evijit · x · 2026-09-19
作者 evijit 认为，AI 评测器可信度问题的根源不是个别机构的操守，而是缺乏开放性——公众应当能不分来源机构地评估评测方法的整体健全性。他提出若干改进方向：
- 建立一个持续更新的中央评测仓库，附带元数据信号（Eval Cards）
- 制定独立评测条件的标准（aievalforum）
- 统一评测报告的 schema 标准（evaluatingevals）
- 自动化检测 benchmark 数据质量/缺陷与饱和度（Epoch AI 等的工作）
- 建立 AI 缺陷/事件报告机制（FLARE-AI），内置问责与公开披露，并反哺新评测开发
- 借鉴其他行业的审计标准（rajiinio 等的研究）
「研究」频道最新
- 开发者自制奖励塑形可视化工具，直观对比 GRPO 与 PPO 学习差异 — k7agar · 2026-09-19
- a16z 押注 Vals AI,要做中立可信的 AI 评测黄金标准 — TechCrunch AI · 2026-09-19
- IR 研究者实测 Jev 做 reranker，DL19/20 上效果好且便宜 — beirmug · 2026-09-19
- 开源 5 个月日更笔记：从 NumPy 一路学到 Transformers — oGauRav · 2026-09-19
- 模拟内存访问有多难？FEX-Emu 详解 x86 转 ARM 的坑 — blaizedsouza · 2026-09-19
- 用可写 n-gram 表给小模型做持久记忆，8GB 显卡的民间实验 — Mrinohk · 2026-09-19