模型给自己写出的「不存在的图表」打了满分
memokris · reddit · 2026-09-21
作者让同一个模型既写草稿又给自己打分，结果草稿里只有一句括号中「此处应有图表」的描述，并没有真实图表，模型却给这项打了满分——一个最简单的存在性检查本可以在打分前拦下这个失败。
作者随后重构了案例继续测试：把图表代码里的 93,000 改成 94,000，图表仍能渲染，只有把代码与工具实际输出比对（并处理空白归一化）才能发现数字被改。最后一个案例更微妙：两段用不同措辞重复同一观点，低文本相似度无法判断冗余，需要调整占位符检查来匹配样例措辞。
核心结论：LLM 自评/自动评分流程缺少针对「产物是否真实存在」「代码与输出是否一致」的基本校验，简单的确定性检查能抓住模型评分看不到的造假。
「编程与Agent」频道最新
- 用 Kimi K3 + GPT-6 Astra 搭 AI 股票分析师:450 美元干 6 万美元的活 — nevrekaraishwa2 · 2026-09-21
- Delip Rao 批评 LLM Judge 社区两年只写单体 prompt,autorubric 才破局 — deliprao · 2026-09-21
- 开源 MCP 桥让 ChatGPT 检索本地 Codex 历史：39 会话全通过 — MeldhLLC · 2026-09-21
- V7 携手 OpenAI 打造高风险金融工作的企业级 Agent 系统 — nathanbenaich · 2026-09-21
- 开发者自建 MCP 订机票,ChatGPT 确认时甩出搞笑 GIF — Efistoffeles · 2026-09-21
- 两遍扫描模式:32 秒读完 84 份 SEC 文件共 12013 页 — dl_weekly · 2026-09-21