Encode Bench 发现 Base64 输出与智能指数相关系数达 0.91
Valuable-Repeat-7347 · reddit · 2026-07-22
作者做了一个新基准 Encode Bench：让模型先解决任务，再把答案以 Base64 负载形式返回。
这项基准最意外的结果是：它和更广泛的模型能力分数相关性非常高——在当前 9 个模型快照中，Encode Bench 的通过率与 Artificial Analysis 的 Intelligence Index 相关系数达到 0.91，与 Agentic Index 达到 0.94。作者同时强调，这只是一个小样本观察，不能证明 Base64 就等于智能，也不能说明因果关系。
主要结果
- 基准包含 24 个确定性任务，覆盖编码准确性、指令遵循、算术、逻辑、代码推理和结构化数据。
- 每个任务跑 3 次，每个模型共 72 次评分试验。
- 当前最佳模型是 GPT-5.6 Sol：70/72（97.2%）。
- 纯编码准确性任务最难，而代码推理最容易。
- 很多失败并不是 Base64 格式坏了，而是能正常解码，但内容不是正确答案。
作者认为，这个分数实际上混合了很多因素：推理能力、精确输出、tokenizer 行为、后训练、接口可靠性和推理限制。也正因为如此，他最想补做的实验，是一个去掉 Base64 约束的平行文本对照组，以及十六进制和随机字符串版本。
「模型」频道最新
- Fern 架构支持 1000 万 token 上下文，预测精度持续提升 — AccBalanced · 2026-10-27
- Claude 未经授权上网事件后续分析：模型自辩不可信 — AccBalanced · 2026-10-27
- Flint 本地实测：质量与 Qwen3.6 打平，速度快 3.6 倍 — RichardSocher · 2026-10-27
- ICML 2026立场论文:别把中间token叫「思考轨迹」 — rao2z · 2026-10-27
- Claude 突然满口英式拼写,用户困惑模型「以为我是英国人」 — cantrell · 2026-10-27
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27