求职 agent 翻车修复复盘:幂等键+引文校验后 AUC 仍仅 0.645
nivokvo · reddit · 2026-11-23
作者此前帖子曾讲述 agent 自动回复招聘者后翻车,此次复盘采纳社区建议的修复效果:
- 幂等键:改用 uuid5(聊天+雇主消息+回复文本)生成,手动重试不再重复发消息
- 事实校验进代码:模型须给出事实文件原文引用,代码逐字比对;模型不给引用时只剩二次 LLM 校验
- 校验器金丝雀:每天喂 3 条已知坏回复,首轮 3/3 被拒
- 雇主侧特征没用:联系人字段仅出现在 147 条职位中的 6 条,AUC 停在 0.645;发布时长权重接近零
关键发现:147 个结果、18 次邀约的数据上,Opus 自己的 0-10 匹配分 AUC 仅 0.47(掷硬币水平);小型逻辑回归交叉验证 0.645;而单一特征「申请时竞争者少于 20 人」就达 0.631——模型学到的本质是「趁早投递」。代码开源于 github.com/nivokvo/job-watch-cloud。
「编程与Agent」频道最新
- 开源 Popfold:用 Claude Code 多会话造出滚动展开 3D 网页引擎 — cherichita · 2026-11-23
- 从业者谈自租 GPU 搭推理:Coop 可行,量化与投机解码仍是玄学 — sloppenheimer · 2026-11-23
- 西门子与 AGIBOT 用智能体工作流从文本直接生成机械夹爪 — emmanuelvivier · 2026-11-23
- 4 台 DGX Spark 实测:DeepSeek 编码配 Opus 规划更快更好,GLM 尚不胜任 — AIFlow_ML · 2026-11-23
- 9美分做一条视频:用Claude+VidLab API的完整流程 — eptwts · 2026-11-23
- 网友喊话 Anthropic:公开 agent 攻克千禧年难题的完整对话轨迹 — _arohan_ · 2026-11-23