Baseten 实测:Mirendil-Base-Large 未见代码困惑度压过 Kimi K3 与 DeepSeek
baseten · x · 2026-10-24
推理服务商 Baseten 在自家私有代码库(即模型从未见过的代码)上测试了新发布的 Mirendil 基础模型,并以 bits per byte(与分词器无关的困惑度度量)作为指标进行对比。
- Mirendil-Base-Large 在两种窗口设置下均为最低:非重叠窗口 0.181、滑动窗口 0.169,优于 Kimi K3(0.200/0.186)、DeepSeek-V4-Pro-Base(0.228/0.212)、Nemotron-3-Ultra-550B-Base 及 GLM 5.3 等。
- Baseten 同时宣布成为 Mirendil 模型的推理合作伙伴,将为其提供线上服务。
- 该测试的意义在于使用模型未见过的私有代码,避免了训练数据污染导致的评测失真。
「模型」频道最新
- Kimi 新模型 45 分钟生成骑车鹈鹕,作者称该测试已饱和 — ChrisGPT · 2026-10-24
- urllib3 维护者申请 OpenAI 网络验证计划被拒:表单只面向攻击方 — matthew_d_green · 2026-10-24
- Mubit 开源 Banyan Sapling:用校准概率判断上下文是否支持论断 — testingcatalog · 2026-10-24
- 实测 105 个真实 bug:Kimi K3.1 Pro 得 36 分,性价比不敌竞品 — PawelHuryn · 2026-10-24
- Kimi K3.1 详细跑分将出,博主称其非 Opus 级模型 — bindureddy · 2026-10-24
- 用户吐槽 Kimi 不订阅基本不可用:高峰期被提示付费优先 — ChrisUniverse · 2026-10-24