博主 18 个月测 93 个模型：精馏+量化+专项 RL 损害通用能力
Afinetheorem · x · 2026-10-19
Kevin Bryan（多伦多大学）公开其自建地理定位基准 HardGeoBench 的排行：用从未上网、无元数据、无明显线索的照片测试模型的「裸 LLM」定位能力（不用搜索等工具，pass@1）。最高水平模型在极难样本上有 57.5% 的概率精确定位到 10 英里以内，他怀疑任何模型的天花板约在 75%。
基于 1.5 年、93 个模型的测试，他给出两个判断：
- 蒸馏+量化+针对特定任务的 RL 会明显损害通用智能——表现最差的四个模型是 GPT 6 Luna、Mimi 2.6 Pro、Qwen 3.8 27b，史上最差是 DeepSeek v4.1 Flash 1017
- 表现最好的是多个 Gemini 模型（含 4 Argon）、Mythos 之后的 Anthropic 系列（逐代稳定提升、无明显锯齿）、Muse Spark（含 Open 版）和 Astra；Kimi 2.3 与 GLM5.3 不错但仍在 GPT4.1/Haiku 5.5 水平
所属事件:18 个月实测 93 个模型：蒸馏量化与专项 RL 或损害通用能力(2 条相关)→
「模型」频道最新
- Claude 六个月前还拒绝反编译，如今随叫随做，为了对抗 DeepSeek 放宽护栏 — AccBalanced · 2026-10-19
- GPT-6-Astra 报告:12 项机器人基准多项接近饱和 — ccloy · 2026-10-19
- 深度研究者视角：让 LLM 秒写研究综述的价值被低估 — generativist · 2026-10-19
- Waze 客服确认暂无 Gemini,Pixel 语音唤醒实测失效 — Particular_Ask_1453 · 2026-10-19
- ChatGPT 出现随机删消息与误报对话长度上限 — Aggressive_Case8035 · 2026-10-19
- 本地 Qwen 为何比 ChatGPT 慢?Reddit 热议推理速度差异 — dhtp2018 · 2026-10-19