写 evals 或成 AI 最高薪工作：rubric 决定智能体产出质量
hwchase17 · x · 2026-10-26
mfishbein 发长帖（获 LangChain 创始人 hwchase17 转发认同）主张：写评测（evals）即将成为 AI 领域收入最高的工作。
核心论证：
- evals 是让 agent 能自我验证工作的机制，它定义了「什么算好」的评分标准（rubric）
- 给 agent 一套 rubric，它就能尝试、被打分、迭代、再尝试，直到通过验证，还能无人在环并行跑数百次
- 这个循环叫 hill climbing：专家写下标准 → agent 干活 → AI judge 按标准打分 → agent 迭代到通过
- agent 会朝 rubric 奖励的方向爬坡，所以写 rubric 的人掌控了 agent 的产出质量——「谁写评分标准，谁就产出结果」
「编程与Agent」频道最新
- B200 实测：torch.compile 关一个开关，同一计算提速 4.53 倍 — cfregly · 2026-10-26
- Yacine 又补一刀：想监控邻居，第一步是买他的电视再砸了 — yacineMTB · 2026-10-26
- Reddit 热议：你的 AI Agent 为什么还不能和别人的 Agent 直接沟通 — ClassroomHopeful648 · 2026-10-26
- 开源 DUMEdb：借鉴 1959 IBM 打卡系统，agent 醒来只读 220 token 而非回放 3 万 — MadBradSmith · 2026-10-26
- UserArena 发布：6.4 万条真实购物轨迹评测长程购物 Agent — Jujia Zhao · 2026-10-26
- 字节联合高校开源 RSIHub：标准化 Agent 自进化研究框架 — ByteDance · 2026-10-26