Mirendil 首发 Fern 模型：从头预训练，上下文达 1000 万 token
QuanquanGu · x · 2026-10-27
Mirendil 发布首个模型 Fern，从零开始预训练，支持最高 1000 万 token 的上下文窗口。作者换算称这相当于约 50 万行代码（大致是 Megatron-LM 规模的代码库），或一个 agent 连续数天的工作量，可一次性全部放进上下文。首个版本 Fern 0.1 已经过一轮简短的后训练。顾全在回复中关注「用 AI agent 训练模型」的路线。
所属事件:Mirendil 发布 Fern 0.1：1000 万 token 上下文、低成本从零预训练(13 条相关)→
「模型」频道最新
- OpenAI 发布 GPT-6.1 Terra：电脑操作模型，API 降价 50% — soleio · 2026-10-27
- Together AI 对谈 Meta:详解 Muse Spark Open 开放模型 — togethercompute · 2026-10-27
- OpenAI 发布低价计算机使用模型 GPT-6.1 Terra,社区质疑定位尴尬 — lyraxana · 2026-10-27
- GPT-6.1 Terra 发布:Agent 考试约 60 分,成本仅 Opus 5.5 的 1/9 — ChrisGPT · 2026-10-27
- 曝 GPT-6.1 Terra 定位尴尬：价格仅为 Sol 一半的中间档 — cedric_chee · 2026-10-27
- Qwen3.8-Flash-Next 开源 180B 权重，被视为后门研究理想样本 — jd_pressman · 2026-10-27