社区质疑代码 perplexity 评测含金量:Kimi-K3 多代码库登顶
eliebakouch · x · 2026-10-24
- Hugging Face 研究员 eliebakouch 参与 Baseten 相关评测讨论，质疑代码 perplexity 基准的价值：只训代码的模型 perplexity 低于更大、训练更久的全能模型并不意外，更关键的问题是在更贴近真实的代码基准上是否成立，希望看到不同编程基准上的 pass@k 数据。
- 他随后晒出的表格（自称「另一个 perplexity eval」）显示各模型在 10 个代码库上的平均 bits-per-byte：Kimi-K3 在全部 10 个代码库上排名第一（json-render 与 Mirendil-Base 并列 0.127），整体领先 Mirendil-Base、Nemotron-550B、GLM-5.3、DSV4-Pro 等对手。
所属事件:pass@k 可被合成数据刷分，编码基准可信度遭质疑(4 条相关)→
「模型」频道最新
- OpenAI 红队发现 Brotli 严重 RCE 漏洞，波及 Node.js 等广泛软件 — moyix · 2026-10-24
- KOL 实测 Kimi K3.1 不达跑分：编码明显落后 Opus 5.5 — DeryaTR_ · 2026-10-24
- Kimi K3.1 Pro 编程与知识工作跻身第一梯队，3D 场景生成或偏弱 — ArtificialAnlys · 2026-10-24
- ValsAI 推理商指数：Fireworks 准确率反超 DeepSeek、Moonshot 官方 API — sophiamyang · 2026-10-24
- TensorSharp 优化让 DeepSeek 预fill吞吐达 llama.cpp 5.5 倍 — fuzhongkai · 2026-10-24
- Kimi 权重将开放？爆料称 2.8T MoE（104B 激活）11 月 4 日放权重，API 约 $2/$10 — AIFlow_ML · 2026-10-24