136国1.18亿官媒文章数据集发布,审计LLM训练语料叙事偏向
deliprao · x · 2026-10-22
Bryan Li 等人(谷歌、宾大、西北等机构)发布 WorldStateMedia 开放数据集:从现有预训练语料中提取 1.18 亿篇来自 136 个国家、114 种语言的官方媒体文章,并按 State Media Monitor 标准为每个媒体标注国家控制程度。
关键发现:
- 英文网页爬取语料中,编辑部受控制(相对独立)官媒页面占比从 2013 年的 39% 升至 2025 年的 93%
- 部分低资源语言中官媒占网页数据比例相当高:维吾尔语 17.8%、白俄罗斯语 7.8%
- 数据集可用于审计 LLM 训练语料与检索系统中官媒叙事的渗透度及其对模型输出世界观的影响
「安全」频道最新
- 开发者的冷笑话:SSL 根证书私钥居然是 5 — kuza55 · 2026-10-22
- GitLab 爆 CVSS 10.0 未认证 RCE 漏洞,影响 2014 年以来版本 — jd_pressman · 2026-10-22
- PHP 严重 RCE 曝多方撞车:Calif、OpenAI、Wiz 同报一漏洞 — basedjensen · 2026-10-22
- 安全研究员警告:GitLab 漏洞严重,呼吁用户尽快打补丁 — basedjensen · 2026-10-22
- 安全老兵感慨 RCE 泛滥如 2000 年,配图指向 PHP2Shell 竞态漏洞分析 — moyix · 2026-10-22
- 微软披露:Storm-0940 用 agentic AI 渗透框架 ARTEX 自动化攻击数百组织 — basedjensen · 2026-10-22