从 GPT 到 BERT：博客探讨语言模型「形态」与未来权衡
layer07_yuxi · x · 2026-10-05
作者发布了一篇关于语言模型「shape」（形态）的短博客，讨论不同架构设计带来的权衡，并认为这是现在就该开始思考的研究方向，尤其关系到 harness（编排/调用层）设计。在回复中他列举了三种范式：GPT 是如今人人使用的形态；Google NMT 是「奇怪的一种」（循环编码器 + Transformer 解码器）；BERT 最早出现，曾有过轻微的指令化尝试但未认真推进。
所属事件:研究者撰文探讨语言模型形态与架构权衡(2 条相关)→
「漫话AGI」频道最新
- AI 制药成瓶颈生意:Twist 订单连年三位数增长,GenScript 日验证量翻倍 — QuanquanGu · 2026-10-05
- Reddit 推算：美国需部署 7000 万台人形机器人才能支撑 UBI — Competitive_Travel16 · 2026-10-05
- 网友回怼 Chollet:谈意识前先补课多年研究 — austinc3301 · 2026-10-05
- Eric Raymond谈LLM意识：多数讨论是无根基的空谈 — inductionheads · 2026-10-05
- Hank Green 对谈 AI 意识:我们以为的开关其实是调光器 — Flomerboy · 2026-10-05
- 哲学家 Chalmers：十年内出现有意识 LLM 的概率不容忽视 — pickover · 2026-10-05