Chronoberg: A 250-Year Diachronic Corpus with Temporal Affective Lexicons for Language Model Analysis
Niharika Hegde, Subarnaduti Paul, Lars-Joel Frey, Manuel Brack, Kristian Kersting, Martin Mundt, Patrick Schramowski
cs.CL, cs.AI
2025-09-26
古腾堡计划里1750至2000年的英语书收成2.7B token的Chronoberg，33.6万词配了五个五十年情感分。换成同时代近义词后，四个模型里三个有五到七成仇恨判定翻盘。
训练语料贴着当下。Common Crawl、Wikipedia 看得见短周期波动，看不见一个词跨两个世纪的变味。除了所指缩放，还有 pejoration（词义变贬）和 amelioration（词义变褒）。仇恨检测只背当代词表时，会把旧书按今天的冒犯标准重读，撒花那句「Where is the woman to strew the flowers?」就是这样被听拧的。
现成资源对不上。Google Books、EEBO 的 n-gram 无句子；COHA、COCA、CCOHA 不免费大规模开放；TiC-LM、TemporalWiki 只覆盖短窗口事实。NRC VAD 大约 4.5 万当代词，愉悦度、激活度、支配感都停在现在时。Chronoberg 要补的是开源、带年份、情感分能随时间走的英语书。
Project Gutenberg 约 73500 本书，著录日期常是数字化时间。OpenLibrary 为主，作者生卒年去掉死后版本。100 本核对（1611–1912）：精确年对上 49 本，有年份的样本里 5 年内准确率 76%，平均绝对误差 3.05 年，标准差 5.20 年。时间桶不要窄于 15 年。筛后剩 1750–2000 年 25061 本书，2.7B token、9100 万句。1920 年代前书量上升，1929 年后版权把文本挡在门外，五个 50 年窗口越后越瘦，边界也不是文学分期。
每个窗口单独训 Word2Vec（10 个 epoch，窗口 5，300 维），CADE 对齐到全书罗盘空间。目标词排除在外，取 NRC VAD 中约 20 个近邻的平均分；凑满通常要看前 100 个近邻。前 10 个会偏，前 500 个被中性词抹平。共 335804 词，三维分数在 -1 到 1。锚是当代人工分，历史文本只贡献邻居。asylum 从 +0.27 降到 -0.65（圣所到精神病院），febrile 从 -0.58 升到 +0.33（危险义让位给比喻）。拿今天的温度计去量旧邻居，读数跟着身边的词走，古人的体感不在表里。大规模回溯标注做不到，分数只记轨迹。
句子只留形容词、动词、副词，从句平均后取最小值，避免后半句把冒犯冲成 0。图 2 全词平均 -0.005，从句最小 -0.53。整库因此偏负：每窗口约 28% 句子低于 -0.05，约 50% 高于 +0.05。首尾差过 0.1 且正负类改变算漂移。高档须连续两步过噪声且净变化大于 0.2，中档是单步或净变化有限，低档是阈下累积。三档分别 44049、36301、2518 个词，约全表四分之一。
119 个文献词变里 12 个在窗口外。评价性 40 个（恶化 30、改善 9、对义词 1）：
| 档位 | 词数 | 方向一致 |
| 高 | 14 | 12（86%） |
| 中 | 21 | 11（52%） |
| 低 | 5 | 0 |
| 合计 | 40 | 23 |
高档恶化 9 个对上 8 个（awful、bastard），改善 9 个对上 8 个。17 个失误里，11 个方向反了，bully、egregious 这类贬化主要在口语，书面义把愉悦度拉高；5 个（fairy、queen、bent 等）书中贬义太稀；sanction 正反抵消。
非评价性变化不该动愉悦度，67 个里 17 个平稳。SemEval-2020 的 24 个稳定词，9 个仍平稳、15 个移动。那边只有两个时间点，多出来的移动里可以有真的长漂移。高档评价性变化可用，中档接近对半。
愉悦度在这里只做诊断，正文写明它不能代理仇恨。HateCheck 上 RoBERTa 精确率 0.963、召回 0.973；Perspective API 精确率 0.993、召回 0.389，阈值 0.7 滤误报。RoBERTa 负责覆盖，Perspective 负责过滤，OpenAI Moderation 作对照。表 3 只是例子：「婚礼上不该穿黑」被判仇恨，愉悦度 +0.10；1850 年代 faggot 常指柴捆，模型按侮辱义打仇恨，时间 VAD 给正分。
冲突句交给 Mistral-8x7B、Qwen2.5-72B、Deepseek-R1-70B、GPT-OSS-120B。词换成 [MASK] 或该年代无毒近邻后，图上降幅约从 9%、13% 到 74%；四个模型有三个的不一致率下降 50%到75%，仇恨判定翻成非仇恨。VAD 不变。跟的是词面。
审公版书和档案的人，可以把时代近义词当成探针。同一句里判定大面积翻转，分类器就还绑在现代字符串上。句子、情感分和代码都公开。比起 n-gram 档案，多出来的是句子；比起 COHA，少的是授权门槛，2.7B token 可以按年拿。终身学习、继续预训练和遗忘写在展望里，这篇没有跑。近邻平均算不上新的嵌入。能带走的是这套资源，以及三个模型上五到七成冲突句换一个词就翻盘。情感分适合当辅助信号。
局限一节写了四件。出版年误差平均绝对误差 3.05 年、标准差 5.20 年，桶不要窄于 15 年。情感分是轨迹，分档仅供参考。口语和亚文化不在书里，贬化却多从那里来。仇恨跨时代主观，二分太粗，词典不能替换审核器。另有使用限制：仇恨标注不要直接训练当代分类器，否则历史偏见写进新模型。外推不出 1750–2000 这批印刷英语。
50%到75%只覆盖已经和 VAD 冲突的句子，全库误报率空着。从句取最小值把文本往负面推，再拿它判定模型过度反应，尺子偏严。当代锚点带来的循环，只靠高档 12/14 间接回应，样本小，中档 52% 接近抛硬币。历时语境模型没有对照。50 年一桶会抹平桶内转折，1920 年后的窗口又被版权抽瘦。表 3 没有分年代的一致率。