土耳其语坑翻 LLM 评测:"İSTANBUL".lower() 并不等于 "istanbul"
irombie · x · 2026-10-30
作者补充其评测文章中一个土耳其语特例:Python 里 "İSTANBUL".lower() 返回的不是 "istanbul",因此使用精确匹配的评分器可能把正确的土耳其语答案误判为错误。这是其长文《Your LLM Evaluation Is Lying to You》的一个具体示例,提醒非英语语言的评测需注意 Unicode 大小写转换细节。
所属事件:「你的 LLM 评测在说谎」：温度0跑千次得80种答案(5 条相关)→
「编程与Agent」频道最新
- Ontographia:LLM 只发 Intent,永不手写 Cypher 查询 — JeremyCMorgan · 2026-10-30
- Coinbase for Agents 上线 NousResearch Hermes：交易 Agent 获持久记忆与定时简报 — MurrLincoln · 2026-10-30
- 独立开发者推买断制编辑器 Better Rich Text，逐条硬刚 TinyMCE 订阅收费 — CtrlAltDwayne · 2026-10-30
- 12 分钟无代码搭出工作室 AI 前台：会接电话、答问、不乱报价 — aftahi_ai · 2026-10-30
- 2026 仅剩 63 天：转行 AI 应用的六步执行清单 — brandon_galang · 2026-10-30
- Cursor 市场现恶意 Claude Code,近 5000 用户面临远程入侵风险 — Polymarket · 2026-10-30