殆知阁古文献数据集转 Markdown 开源,并系统性修复已污染 AI 语料的错误

vista8 · x · 2026-10-07

博主分享 GitHub 上的「殆知阁」中国古代文献原始数据仓库(523 star),收录佛藏、儒藏、道藏、四库全书、医藏、易藏等大量古典文献,并配套全文检索网站 daizhigie.org。

该仓库将原 TXT 全部转为 Markdown 并加 YAML 元数据,重点工作是系统性纠错:原数据集已被大量研究机构用于 AI 训练,但存在繁简转换错误(如「记忆体」应为「内存」、「香港脚」应为「脚气」、「利瓦伊」应为「李维」)、混入论坛内容、残留 HTML 脚本等问题,可能已经污染中文古文语料。项目持续更新,适合做古籍语料或中文 AI 训练数据的研究者收藏。