评测四则:用20道人工题搭一套LLM答案评分闭环
alex_verem · x · 2026-11-11
转发的 eval 实践方法论，核心四条：
- 从团队已在人工回答的问题里挑 20 道，写下标准答案和理由，作为答案 key。
- 用第二个模型按 key 给每个回答打 1-100 分：低于 90 分转人工复核，≥90 分直接发布。
- 每次人工发现的错误都加入测试集，改 prompt、换工具或换模型时全量重跑。
- 评分器本身也要被检查：每周人工抽查其打分，并追踪转人工的比例——系统准确率提升可能只是因为人在处理更多难题。
作者强调：模型答错的案例往往是最值得加入测试集的样本。
「编程与Agent」频道最新
- Bug Hunt 实测:Gemini 4 Carbon 57.3 分仅需 $31,逼近 Fable 5.2 的 $140 — PawelHuryn · 2026-11-11
- Supabase 接入 Expo EAS CLI，一条命令打通全部环境后端 — dshukertjr · 2026-11-11
- AI 重写旧软件有多容易？Orosz 引爆讨论，网友列出三大重写清单 — _philschmid · 2026-11-11
- 前 Meta 研究员预测：SWE token 市场将现 1500-2000 亿硬上限 — DimitrisPapail · 2026-11-11
- ComfyUI 挑战赛冠军 ComfyArt:开源全本地 AI 设计画布上线 GitHub — bfl_ai · 2026-11-11
- 放下自建 harness 让 agent 自己优化：重启恢复率从 5 升至 77 — AccBalanced · 2026-11-11