错别字会让 LLM 不适？tokenization 视角的 AI 文本辨识理论

cosine_distance · x · 2026-11-11

cosinedistance 提出理论：错别字会干扰 LLM 的 tokenization，给模型带来轻微"不适"。这为为何 AI 生成文本往往语言过于规范、人类文字则错漏更多提供了一种解释视角。