Google DeepMind FACTS 事实性榜单:GPT-6 Astra 以 75.4% 居首
lilyraynyc · x · 2026-11-06
SEO 专家 Lily Ray 在 TechSEO Connect 大会上分享了 Google DeepMind 工程师 Anfal Siddiqui 介绍的 FACTS 事实性基准套件。这是一个公开排行榜,从四个维度衡量模型事实性:参数化知识(parametric)、搜索(search)、多模态(multimodal)和落地核查(grounding),FACTS 得分为四维准确率的平均值,含公开与私有测试集,榜单排名每周更新。
截至 2026 年 11 月 1 日的 Top 5:GPT-6 Astra(OpenAI)75.4%、GPT-6.1 Sol(OpenAI)74.6%、Gemini 3.8 Flash(Google)68.5%、GPT-6 Sol(OpenAI)68.4%、Gemini 3 Flash Preview(Google)64.8%。演讲强调「增长空间还很大」——即便最强模型,事实性也仅略高于四分之三。基准配套论文已发 arXiv(2512.10751),数据构建流程包括真实用户问题筛选、LLM factoid 过滤、Wikipedia 背书、对抗采样与人工核验等环节。
「模型」频道最新
- DeepMind 发布 Gemini Robotics 2.5:人形机器人自主系蝴蝶结、打包成功率96% — AI_Andrew · 2026-11-13
- Inkling 2 Small 采纳 Kimi 注意力残差机制,作者拆解实现细节 — akbirthko · 2026-11-13
- 爆料称 OpenAI Astra 6 或因对齐问题难产,上线遥遥无期 — haider1 · 2026-11-13
- Claude Fable 5.2 系统提示词遭泄露：95 万字符、128 个工具全曝光 — 新智元 · 2026-11-13
- LatentSpace 首测 Naive-N0.5-Flash：编程反超 DeepSeek，峰值 2100 Token/s — 量子位 · 2026-11-13
- Artificial Analysis 给 Qwen3.8-Flash-Next 打 29 分,介于两大竞品之间 — lionellee77 · 2026-11-13