一个不可见空格让多家 AI 评测判分器集体翻车,作者已提交修复 PR
maverick_man1111 · reddit · 2026-10-28
一位开源评测项目开发者发现:Claude Code 原生评测判分器会因答案中一个不可见字符(如 NBSP)把正确 Python 代码判错、错误代码判对。进一步测试发现 LangChain OpenEvals、Promptfoo、Nvidia SkillEvaluator 等主流工具同样中招。
修复方案很小:在不改动原答案的前提下,自动生成一份列出确切 Unicode 字符及其位置的说明注入判分上下文,判定质量大幅改善。作者已在 Claude Code 原生 grader 复现,并向 Nvidia、OpenEvals、Promptfoo 提交修复 PR,Nvidia 已批准。完整报告见 driftproofhq.com/invisible-space。
所属事件:不可见空格致多家 AI 评测判分器集体误判(3 条相关)→
「编程与Agent」频道最新
- LangChain 提出「公司 harness」五要素：UX、身份、记忆、沙箱、调度 — hwchase17 · 2026-10-28
- 豆包录制操作生成技能，两分钟演示搞定备忘录迁移 Obsidian — songguoxiansen · 2026-10-28
- 独立开发者用 Claude+Unity+Blender+Meshy 一个月做出合作兽医游戏 — PixelPawsInt · 2026-10-28
- 6 个 AI Agent 运营公司实录：笔记本合盖停摆 26 小时后迁云踩坑记 — Icy_Comfort_6220 · 2026-10-28
- .NET Conf 2026 议程公布:C# 将迎来 Union 类型等新特性 — unixterminal · 2026-10-28
- 访问两打一线团队后他断言：花哨 Agent 工作流基本没用 — thegautamkamath · 2026-10-28