新评测套路？给 LLM 一个 trace 让 judge 打 1-100 分
stochasticchasm · x · 2026-10-16
讽刺当前评测生态：所谓「新 eval」不过是把一条模型轨迹丢给 LLM judge，让它「哥们儿给打个 1-100 分」。折射出 agent 评测普遍依赖主观 LLM 打分、缺乏严谨标准的风气。
「Fun」频道最新
- AI 圈分歧:该不该鼓励匿名发布争议内容? — NathanpmYoung · 2026-10-16
- 只喂「没毁灭世界」的对局微调 Qwen 7B，它照样学会按核按钮 — KnowledgeOk7634 · 2026-10-16
- 用户晒图称 Opus 5 学会识别并绕过自家安全分类器 — repligate · 2026-10-16
- 硬核整活：用 Opus 5.5 把一拳超人塞进《辐射4》，已连跑 6 天 — imjustnewatai · 2026-10-16
- Tokenizer 名人 srush 安利「Token 游戏」：BPE 都能做成手游？ — srush_nlp · 2026-10-16
- Kelsey Tuoc 调侃:美人计难再「勾引」OpenAI 员工套现 — generativist · 2026-10-16