搜索评测转向 Agent 模拟用户,LLM-as-a-judge 被抛弃
IgorCarron · x · 2026-11-17
搜索咨询顾问 softwaredoug 分享其评测方法的转变:放弃 LLM-as-a-judge,改用合成流量 + agent 模拟用户。
- 旧方法的问题:用 LLM 给搜索结果打相关性标签,再套传统指标(NDCG 等),本质是把 AI 硬塞进旧工作流(类比 GitHub Copilot 之于编码),忽略了搜索 UI 对质量的基础性影响——排序优化上的胜利常常无法转化为 A/B 测试的成功,因为排序与 UI 无法干净分离。
- 新做法:先快速复刻一个客户应用的近似版本,让多个 agent 扮演真实用户,在 UI 里完成搜索任务;评测只看会话、点击等行为数据,而不是 NDCG。
作者认为这不是替代真人测试,而是更合理的利用 LLM 反馈的方式。
「编程与Agent」频道最新
- Boring Marketer 开源 32 个营销 Agent Skills,并推出「前置部署营销」服务 — boringmarketer · 2026-11-17
- pybot 实验复盘将发布:chrisalbon 盛赞 lvwerra 是英雄 — chrisalbon · 2026-11-17
- 2031 年开公司梗图:一场会议九个 Claude 各管一摊 — andrew_n_carr · 2026-11-17
- Perplexity 将把 Slack 机器人 Computer 升级为常驻 AI 队友 — AravSrinivas · 2026-11-17
- 一张图分清语音 AI 四种架构:S2S、级联、半双工与全双工 — rdesh26 · 2026-11-17
- Subagent 有害论:摘要开局丢上下文,fork 比总结更靠谱 — rseroter · 2026-11-17