自造 9 个软件品牌问 ChatGPT 和 Google：18 次回答零幻觉
raja314 · reddit · 2026-11-16
一位 Reddit 用户做了一项简单可验证的幻觉测试：编造 9 个软件公司名字（Google 搜索均无结果），分别向 ChatGPT 和 Google AI Mode 询问其价格与创始人，共 18 个问题，没有一次被编造答案。
- ChatGPT 每次都表示无法确认公司存在并索要官网；Google AI Mode 则直接说不存在，还会推荐名字相近的真实产品（如 cosply 设计品牌 Thimble Forge）。
- 最初用了 10 个名字，剔除了 2 个撞名的（ChatGPT 找到名为 Corvanta 的 HR 产品，AI Mode 找到救护车软件品牌）。
随后测试真实公司（26 家）的成立年份与总部：知名公司 19/20 正确，中型 14/14，小众 14/18。错漏集中在来源冲突时——模型会「选边站」而非自造，比如 Lexalytics 总部 ChatGPT 引 LinkedIn 说 Amherst，Wikipedia 说 Boston；Dbmaestro 成立年份 ChatGPT 答 2008，Wikipedia 与 AI Mode 答 2012。
再测 8 个 SaaS 工具最低付费档价格，对照厂商当日定价页 16/16 命中「首屏标价」，失误出现在月付/年付切换时（如 Capsule CRM：ChatGPT 答 $22 月付，AI Mode 答 $21，厂商页默认显示年付价）。
作者结论：在带联网的简单可验证问题上，两个引擎面对冲突来源会选边而非编造，这与公开排行榜测的场景（文档摘要或无文档深问）不同，所以分数波动巨大。测试仅一天一地一人，样本有限。
「模型」频道最新
- 英伟达免费开源模型 Nemotron 3.5 Bolt:4GB 文件离线跑遍普通笔记本 — alex_verem · 2026-11-16
- Gemini 4 Hydrogen 文档分析实测：一条 Prompt 产出报告+对比表 — technextpreneur · 2026-11-16
- Anthropic S-1 揭示：超 6 个月旧模型贡献营收不足 20% — every · 2026-11-16
- OpenAI 一周动态：ChatGPT Wallet 上线、收购 Odessia、语音功能大改版 — btibor91 · 2026-11-16
- AI 写代码生成训练数据:367K 参数模型塞进软盘跑上奔腾处理器 — RichmanRonald · 2026-11-16
- 开发者抱怨推理服务商不足，Perplexity decider 模型一债难求 — bo_wangbo · 2026-11-16