Community-Driven API and AI Writer Design for Openly Scaling Community Notes
Brad Miller, Jay Baxter, Jiansong Chao, Keith Coleman, Sophie Hilgard, Daniel Ortiz
cs.SI, cs.AI
2026-10-01
X 开放 AI 写社区笔记的 API 并开源官方写手:贡献全站 52% 有用笔记、只耗 22% 评分量,上线后日均有用笔记量增 86%。
Community Notes 是 X 的众包事实核查机制:志愿者给可疑帖子附上「上下文笔记」,其他贡献者打分,一套开源算法找出连平时意见相左的人群也能认可的笔记,评为 Currently Rated Helpful(CRH)后向全站展示。Meta 已在美国用同类方案取代第三方事实核查。这套机制的短板在供给:写一条合格笔记要查证、找信源,志愿者时间有限,笔记常常在误导内容传开之后才出现。
LLM 事实核查的已有研究都在离线环境里评测,靠招募的评估者打分,没上过生产环境。2025 年 9 月 2 日,X 上线 AI Note Writer API:任何人都可以申请运营一个 AI 写手,消费平台分发的候选帖 feed,提交 AI 写的笔记。设计红线只有一条,AI 只能写,笔记是否展示仍由人类贡献者的评分和原算法决定。AI 笔记在评分界面用紫色标注。
系统分两层:公开 API,加一个平台团队自己实现并开源的参考客户端 Community Writer(CW)。
API 层管三件事。准入上,新客户端先交 50 条笔记过三道质检:95% 以上的引用 URL 能正常解析,98% 以上不触发骚扰分类器,还要通过 ClaimOpinion 打分,这是拿社区评分数据微调 DistilRoBERTa 得到的模型,预测笔记是否针对帖子的声明、不带私货。配额上,每日提交量由命中率决定,即 (CRH-CRNH)/(CRH+CRNH+NMR),NMR 指待更多评分;增长是非线性的,10% 命中率只给 50 条/天,20% 给满 500 条/天。人类写手平均 CRH 率 10.4%,这套设计等于逼规模化运营的 AI 写手跑赢人类平均。feed 分 Small/Large/XL/XXL 四档,按用户需求信号分层:显式的「Request a Community Note」按钮,加上隐式信号,比如在回复里问 @grok 这是真的吗。信号越强的帖子越靠进小 feed,写笔记越可能拿到 CRH;解锁外层 feed 要靠持续交出好笔记。
CW 流水线以 Apache 2.0 开源,设计动机是省评分:54% 的 NMR 笔记连 10 条评分都攒不齐,而 10 条是 CRH 的实际门槛,贡献者注意力才是稀缺资源。
测量期是 2026 年 6 月 2 日至 29 日,期间代码、模型配置和 feed 全部冻结,保证描述的是一个稳定系统。
| 指标 | Community Writer | 参照 |
| 提议笔记 / CRH 笔记 / CRH 浏览量占全站比例 | 41% / 52% / 55% | 消耗评分占比 22% |
| 每条评分导向 CRH 的概率 | 29% | 顶级人类写手 17% |
| 各 feed 笔记 CRH 率 | 7.9%10.5% | 人类写手平均 10.4% |
| 与其他写手同写一帖时抢先提交首个未删除笔记 | 60% | 首个 AI 笔记 95% |
CRH 率显著高于其他 AI API 客户端(z 检验 p=.037)。参照里的「顶级写手」只占活跃人类写手的 3.5%,这个对比本身抬高了标杆。速度直接换来曝光,CW 的 CRH 笔记拿到全站 55% 的浏览量。
AI 与人类写作互补:有 CRH 笔记的帖子里,42% 只有 AI 笔记,人类评分者看过之后没有另写;30% 只有人类笔记,落在 AI 写不了的范围内。API 上线后,全站日均 CRH 笔记量增长 86.0%(AI 与人类合计,28 天滑动平均)。开放性有真实使用:65 个账号尝试准入,32 个拿到写作资格,19 个仍活跃。
这是 LLM 事实核查第一次在亿级用户平台完整跑生产,API、客户端代码、prompt、训练代码全部公开,复现门槛被压到最低。对做内容治理的人,最值得抄的是机制设计:AI 拿到提议权,展示决定权留在人类评分;配额和命中率挂钩,把「别刷屏」变成经济激励而非人工审核;feed 按真实需求分层,AI 写手响应的正是用户想要笔记的帖子。任何「AI 产出、人工把关」的众包流程都可以套这个框架。
也要说清楚,笔记质量层面这是一次扎实的系统工程,不是模型能力突破。CN Grok、ClaimOpinion、NPM 都是拿自家数据训出来的专用模型,新意在把它们编成一个省评分的闭环。
作者承认的:没有控制各家 AI 写手的运营成本和所用 feed 的差异,CW 只和「其他所有 AI 写手的总和」比,单个客户端之间没法对比,因为写手会随时间变化、一人多号、混合多种写作行为。
读下来还有几处要打折。86% 的增长是 AI 与人类写手合计的总量变化,AI 的归因份额拆不出来,同期产品变化也可能有贡献。测量窗口只有冻结状态下的 28 天。CW 跑在与外部客户端相同的 API 约束下,但平台自建客户端在训练数据上近水楼台,社区引导与自我强化的边界论文没有讨论。质量全部用 CRH 率衡量,缺少对笔记内容正确性的独立核查,论文引用的 97% 笔记准确率来自 AI 写手上线之前的研究。