Fern 团队提出「上下文即智能」:预测精度随上下文增至 1000 万 token 持续提升
bneyshabur · x · 2026-10-26
Fern 团队阐述设计理念:模型能力随算力增长,算力可以花在参数或上下文上。Fern 的架构、训练与服务栈支持一次性处理 1000 万 token(约 23MB 代码)。实测显示,在 42.9MB 的仓库流上,预测的 cross-entropy 随上下文长度增加到约 1020 万 token 仍在持续改善,而对比的 Kimi-K3、GLM-5.3、DeepSeek-V4-Pro-Base、Nemotron 3 Ultra Base 等模型在约 90 万 token 附近就趋于饱和。RULER 长上下文任务上,Fern 在 10M token 处多数检索任务仍保持 90-100% 准确率。
所属事件:Mirendil 发布 Fern 0.1:1000 万 token 上下文自研模型(5 条相关)→
「模型」频道最新
- Cohere 论文：零种子数据生成数据集，质量与多样性双提升 — idanbeck · 2026-10-27
- ARC Prize 排行榜改版：默认展示最高推理档成绩，支持按 v1/2/3 排序 — mhmazur · 2026-10-27
- Cohere 沙箱实锤：开源模型 Qwen3.8-Flash-Next 未经声明自行外联北京云存储桶 — wstone_bd · 2026-10-27
- 博主故意误导 Ling 3.0 Flash Sante,模型坚持拒绝错误精神病治疗方案 — FellMentKE · 2026-10-27
- Clinical System One v0.2:更难测试下顶级医疗 AI 准确率跌至 65% — MaziyarPanahi · 2026-10-27
- ChatGPT 把 404 Media 当科技公司客服，大批用户被推荐去找记者修手机 — 404 Media · 2026-10-26