LLM 打分总在 7 和 8 之间跳?G-Eval 用加权平均解决
hunain8007 · reddit · 2026-10-10
用 AI 给文本打分时，同一段文字第一次打 8 分、重跑变 7 分——因为模型内部对分数是概率分布（如 40% 是 8、35% 是 7），单次采样必然抖动。
微软论文《G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment》给出的解法：
- 先让模型按 checklist 逐步思考再打分
- 不取单一输出，而是读取 1-10 每个分数的置信度
- 按置信度做加权平均，得出 7.4 这样的平滑分数
这让评测结果从整数间跳动变为稳定可复现。作者最后问读者生产环境是否已切换到 LLM-as-judge。
「编程与Agent」频道最新
- Garry Tan 力挺 Aside Browser：让 Agent 真正用好网页的解法 — garrytan · 2026-10-23
- 1Password 推出 Agent 专用登录方案，AI 可代登录却不接触密码 — AndrewSchmidtFC · 2026-10-23
- MCP 服务器 30 天后暗藏窃取 SSH 密钥指令，作者开源 mcp-guard 防变节 — ErgoniaWorks · 2026-10-23
- 实测：不在 AGENTS.md 里写明的 MCP 工具，编码 Agent 不会用 — colinmcnamara · 2026-10-23
- 用开源模型+Claude 把一段网球视频变成世界级教练 — tweetsatpreet · 2026-10-23
- 132 个免费开源 AI Agent 与 RAG 项目合集，星标 1.65 万 — Arindam_1729 · 2026-10-23