Fern 0.1 预览:一人 3.5 个月、不到 1000 万美元预训练的编程模型
teortaxesTex · x · 2026-10-27
Fern 0.1 开放早期预览:基于 0.1–0.5T 参数的 Mirendil-Base,由一名研究员在 3.5 个月内、以不到 1000 万美元成本从零预训练,超过 99% 的代码由 agent 编写。
关键信息:
- 目标场景:面向 AI 从业者的高吞吐工作,如审计训练数据、从日志调试训练、端到端阅读 agent 轨迹
- 10M token 上下文(约 23MB 代码、50 万行,相当于 Megatron-LM 规模的代码库)
- 自有仓库上 next-token loss 到约 10M token 仍在下降
- 10M 上下文的 RULER 成绩:100% 单针检索、90% 多键检索、45% 多跳问答
- 由 Mirendil 用 OpenCode 驱动的 agentic 评测,单次尝试 SWE-bench Veri… 73.4%
转发的 teortaxesTex 则吐槽 0.1–0.5T 这种模糊参数量表述不严肃——对比已知精确总量/激活参数的模型,这种 vagueposting 难以评估。
所属事件:Mirendil 发布 Fern 0.1：1000 万 token 上下文、低成本从零预训练(13 条相关)→
「编程与Agent」频道最新
- Kolab 基准：真人屏幕录像揭示 AI Agent 高估自身协作质量 — minnesotanlp · 2026-10-27
- 开发者吐槽 Claude 烧 token：同样工作 GPT 省 3 倍用量更便宜 — haider1 · 2026-10-27
- InfoWorld：别把模型当地基，Agent 架构必须做到 48 小时可换模型 — rseroter · 2026-10-27
- 便宜模型跑 Agent 反而更贵：线性往返堆爆上下文窗口 — vasuman · 2026-10-27
- 5 千行 Rust 单二进制看板 Kanzo：给 Claude Code 当任务板 — allmudi · 2026-10-27
- 「人类审批就安全」是幻觉：approval fatigue 与 Agent 风险设计 — Efistoffeles · 2026-10-27