Mirendil 发布 Fern 0.1:1000 万 token 上下文自研模型
初创公司 Mirendil 发布首个自研模型 Fern(0.1 版),由前 Google 研究员 Behnam Neyshabur 团队打造,完全从零预训练,上下文窗口最高 1000 万 token(约 23MB 代码),可一次性容纳约 50 万行代码(Megatron-LM 量级)或一个 agent 数天的工作量,定位服务 AI 从业者的高强度 agent 工作。模型在智能体基准上完成首秀,团队同时承认与前沿模型仍有差距。
已确认
- Fern 0.1 基于 Mirendil-Base 经短 post-training 得到,架构、训练与服务栈支持一次性处理 1000 万 token
- 团队提出「上下文即智能」理念:算力可花在参数或上下文上;实测在 42.9MB 的仓库流上,next-token 预测的 cross-entropy 随上下文增至 1000 万 token 持续下降
- 智能体基准首秀:DeepSWE v1.1 得 44.2(开源模型中接近 Beam 的 43.3),SWE-Bench Verified 得 73.4
- 官方明确目标用途:审计训练数据、从日志调试训练过程、端到端阅读 agent traces
尚未确认
- 帖子中提及的 SWE Atlas Code 等基准细节在材料中不完整,具体成绩与排名待进一步信息
为什么重要
- 团队主张把算力投入上下文而非参数,是一条与主流扩参路线不同的扩展方向;长上下文的预测收益若被独立验证,对 agent 与代码领域意义重大
- Fern 面向开发者的数据审计与训练调试场景,是差异化定位;但团队自己也承认与前沿模型仍有差距,其实用性有待社区检验
2026-10-26 ~ 2026-10-27 · 7 条相关
一手来源
- Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur ·
- Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur ·
- Fern 0.1 智能体基准首秀:SWE-Bench Verified 73.4,与前沿模型仍有差距 — bneyshabur ·
- 【源头】Mirendil 发布首个自研预训练模型 Fern,上下文最长 1000 万 token — bneyshabur · 2026-10-26
- 【源头】Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升 — bneyshabur · 2026-10-26
- 【源头】Fern 0.1 智能体基准首秀:SWE-Bench Verified 73.4,与前沿模型仍有差距 — bneyshabur · 2026-10-26
- 前 Google 研究员团队发布 Fern 0.1:专供审计数据、调试训练的模型 — bneyshabur · 2026-10-26
- Fern 架构支持 1000 万 token 上下文，预测精度持续提升 — AccBalanced · 2026-10-27