LLM 训练集见太多 Java 崩溃,NullPointerException 混到专属 token

generativist · x · 2026-10-06

一条广为流传的趣图观察:某个 LLM 的 tokenizer 竟然给 'NullPointerException' 单独分配了一个 token。原作者感慨,可想而知训练集里塞了多少 Java 崩溃日志,才让这个异常名「配得上」自己的 token——侧面反映代码报错内容在训练语料中的占比之高。

原文链接 →

「Fun」频道最新

更多「Fun」频道 AI 资讯 →