Agent 重负之下 Encoder 卷土重来：Jev 想补完 BERT 未竟路线

dotey · x · 2026-09-19

• 历史脉络：BERT 代表的 encoder 路线擅长高效压缩输入成 representation，但停留在 task-specific 时代；GPT 靠 scaling、in-context learning 和 instruction tuning 走向泛化，把一切任务变成 generation，decoder-only 赢下范式，encoder 失去了探索 general classifier/representation 的机会。
• workload 变化：Agent 时代模型面对更大输入、更重 KV cache、更频繁循环调用；用巨大 decoder 完整 prefill 再自回归 decode 几个 token 做一次判断，成本开始显得昂贵。
• Jev 的定位：在 decoder 泛化能力与 encoder 式决策效率之间补上 BERT 未走完的路线，做面向 service 与 Agent 的「泛化 decision model」。

原文链接 →

「模型」频道最新

• Codex 额度重置恢复，用户称此前几天额度全面耗尽 — CtrlAltDwayne · 2026-09-19
• 传 Anthropic Opus 5.2 纯 JS+three.js 生成 5 分钟泰坦尼克电影 — dotey · 2026-09-19
• 重启会话后模型仍记得 cranberry-42：持久记忆测试趣闻 — RileyRalmuto · 2026-09-19
• 免费模型更笨？反驳帖引论文称 SOTA 模型仍难消除幻觉 — AryHHAry · 2026-09-19
• 为什么 AI 个性同质化?安全训练与依恋恐惧是主因 — alexisgallagher · 2026-09-19
• 新模型 JEV 部分平台免费用，输入 token 低至约 $0.042/百万 — airesearch12 · 2026-09-19

更多「模型」频道 AI 资讯 →