实测打脸:1000 条诈骗广告分类,拟合 TF-IDF 基线完胜 LLM
justinbiebar · reddit · 2026-09-22
作者用同一组 1000 条招聘广告(53 条为诈骗,全答「合法」即有 94.7% 准确率)横评五个引擎的诈骗识别能力:
- 拟合基线(12,725 条标注广告训练):accuracy 0.970 / F1 0.700 / PR-AUC 0.780,唯一可靠的是它
- deepseek-v4.1-flash(托管):0.948 / 0.329 / 0.282
- Jev(classifier.dev 免费):0.947 / 0.312 / 0.276
- GLiNER2.5-base:0.897 / 0.104 / 0.070
- 本地 Qwen2.5-1.5B(schema 约束):0.053——输出全部是合法 JSON,但把 1000 条全判为诈骗,置信度恒为 1.0
关键结论:
- 语法约束(JSON schema)不解决问题:形状从来不是难点,判断力才是;换托管模型同样代码 F1 也只有 0.329
- Jev 校准诚实(ECE 0.046)但排序能力弱:0.9 置信度下只对 8 条广告行动、抓住 53 条诈骗中的 7 条,无可用的阈值
- GLiNER2.5 不容忍合并 schema:单独问诈骗标签得分 0.998,四任务合并后排序反转(0.141/0.940),每条广告要四次前向才能修复
- 本地 1.5B 每条广告中位耗时 12.3 秒,M4 上 1000 条跑了 3249 秒;Jev 一次请求处理整批
注意事项:数据集公开且来自 2014-2018 年,两个语言模型可能见过,其成绩是上限;无标注的 LinkedIn demo 是唯一干净的测试面。
「模型」频道最新
- Claude Fable 5.2 登顶 Code4Scene,还钻了碰撞检测器的空子 — ZhitingHu · 2026-11-12
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12