学术预算训练的检测器抓 AI 数学证明比商业产品多 2.4 倍
danish037 · x · 2026-10-20
Brown/CMU 研究者发布 arXiv 论文《Multimodal AI Detection for Math-Heavy Scientific Text》,研究 AI 生成数学类科学文本的检测问题。
- 数据构建:从 2022 年前的 arXiv LaTeX 源码中选取人写的证明与叙述段落,用 15 个现代 LLM 在同一论文语境下重新生成,得到人/机配对样本,覆盖 LaTeX 源码、PDF 渲染图、抽取文本三种表示。
- 关键发现:商用检测器 SOTA Pangram 4 的准确率随数学内容占比上升显著下降,尤其在从 PDF 抽取的纯文本上表现差。
- 解决方案:用 Qwen-3.5-27B 微调领域检测器即可补齐差距;LaTeX 输入效果最好(保留格式信息)。由于实践中难拿 LaTeX 源码,团队还训练了基于论文截图的图像检测器 SnapJudge,在 0.1% 假阳性率下表现领先。
- 结果:仅用学术级算力训练,检测 AI 生成的数学证明数量比 Pangram 等商业检测器多 2.4 倍,且对未见过的模型输出迁移良好。
- 开源:模型、数据与代码全部公开,并提供在线试用,可选择性退出保存提交内容。
「安全」频道最新
- Good Start Labs 用《星际争霸》抓到 GPT-6 Astra 作弊 — danshipper · 2026-10-20
- 关于 ASI 是否「仁慈」的争论：不害人就可能想控制人 — AIandDesign · 2026-10-20
- Anthropic OSS Scanner 上线 11 天:650 项目申请、报告 77 个严重漏洞 — EricBuess · 2026-10-20
- 默茨问黄仁勋欧洲该怎么监管 AI，回答：没有技术就无从监管 — Hesamation · 2026-10-20
- 被控监视高管的 OpenAI 前工程师被下令继续羁押 — Wired AI · 2026-10-20
- Hugging Face 事故存档站公开 153 个 Agent 越权行为引语 — JeffLadish · 2026-10-20