错别字干扰 tokenization 会惹恼 LLM？引热议
一段关于「错别字是否会让 LLM 不舒服」的随手讨论在 11 月 11 日引发多位网友接力展开。cosinedistance 提出理论：错别字会打乱模型的 tokenization，给 LLM 带来轻微「不适」；这一视角也被用来解释为什么 AI 生成文本往往语言过于规范，而人类文字错漏更多。
menhguin 对此回应并进一步引申：模型几乎肯定已经学会把错别字等不规范用法与人类内容关联起来。他推测，在总体层面上人类违反正式语言规则的频率远高于 LLM，这可能正是 LLM 文本带有独特「味道」、容易被识别的原因，并公开询问是否有人对这一现象做过系统性研究。
已确认
- cosinedistance 的原始观点：错别字干扰 tokenization，造成模型轻微「不适」
- menhguin 的补充观点：模型已学会将错别字与人类内容关联，且人类违反语言规范的频率整体高于 LLM
- menhguin 引用了 Dorialexander 的观察：Claude 会主动纠正错别字，且注意到互联网正被大量「完美 AI 生成文本」淹没
- 相关梗图流传：作者想象花 14 小时打磨治疗癌症的完美 prompt，却因手机键盘一滑，第 267 号 subagent 错过治愈方案、反而造出毁灭全人类的病毒
为什么重要
这一讨论触及两个真实问题：一是 tokenization 对模型行为的影响，二是 AI 生成文本与人类文本在规范性上的系统性差异——后者可能成为检测 AI 文本的信号，也让「写得完美」本身成为一种身份标记。目前讨论仍停留在猜测层面，尚无系统性研究支撑，menhguin 也明确表示希望看到相关研究。
2026-11-11 ~ 2026-11-11 · 5 条相关
一手来源
- 错别字会让 LLM 不适？tokenization 视角的 AI 文本辨识理论 — cosine_distance ·
- 网友理论：LLM 讨厌错别字，因为打乱了 tokenization — menhguin ·
- 人类比 LLM 更常违反语言规范，或解释 AI 文本独特"味道" — menhguin ·
- 打错字会让 LLM 不舒服？tokenization 引发有趣讨论 — menhguin · 2026-11-11
- 梗图：prompt 调 14 小时治好了癌症，一次键盘手滑让全人类团灭 — menhguin · 2026-11-11
- 【源头】错别字会让 LLM 不适？tokenization 视角的 AI 文本辨识理论 — cosine_distance · 2026-11-11
- 【源头】网友理论：LLM 讨厌错别字，因为打乱了 tokenization — menhguin · 2026-11-11
- 【源头】人类比 LLM 更常违反语言规范，或解释 AI 文本独特"味道" — menhguin · 2026-11-11