只许输出 Simple Wikipedia 没见过的二元组,Gemma 4B 被逼出满屏错字

cephaloform · x · 2026-09-30

研究者 @erinbeess 对 Gemma 4B 做了一个受限推理实验：只允许模型输出能构成 Simple Wikipedia 语料中从未出现过的二元组（bigram）的 token。

结果模型输出了大量拼写错误——推测原因是维基百科语料里几乎没有错别字，模型只能「编造」语料中不存在的组合来满足约束，于是被迫产出大量生僻乃至拼错的词。这是一个展示语言模型对语料分布依赖的趣味实验。