theo 盲测六模型读代码:Gemini 4 Argon 得 3.95 分,51% 断言为假
theo · x · 2026-10-15
T3 Code 的 theo 发布一项模型架构理解盲测:让六个模型对同一 commit 做只读架构审计,由 4 个评委按 8 项加权标准打分并核对断言真伪。结果 Claude Opus 5.5 以 8.40 分居首(假断言率仅 5%),Sonnet 5.5 得 7.88,GPT-6.1 Sol 与 GPT-6 Astra 分别 7.66、7.11,Meta Muse Wonder Full 7.04;而 Gemini 4 Argon 即使开到最高 effort 仅得 3.95,92 项断言中 47 项为假(51%)。theo 据此称 Gemini 4 Argon 在其真实代码库中「完全不可用」,会严重幻觉系统运作方式。
所属事件:Gemini 4 盲测得 3.95 分,开发者指真实代码库幻觉严重(2 条相关)→
「模型」频道最新
- Cloudflare 推出 Clef-omni:一次调用融合音频视频图像文本四模态 — michellechen · 2026-10-15
- NVIDIA 预告将发布自家模型,与本周多家新模型同期亮相 — TheOyinbooke · 2026-10-15
- 语音模型连沉默都计费:冷场也在烧钱 — sophiamyang · 2026-10-15
- NCM 新范式:比扩散语言模型快 31 倍且质量更优 — simonguozirui · 2026-10-15
- Gemma 4 26B 输入定价 $0.07/百万 token,比同类不带训练服务商中位数低近 40% — testingcatalog · 2026-10-15
- Epoch AI 实测:GPT-6 Astra 玩《杀戮尖塔2》远逊顶尖人类 — sandersted · 2026-10-15