Pathway 推 1.5亿参数 BDH 模型:在潜空间推理,挑战 Transformer
bigdata · x · 2026-09-27
Pathway CEO Zuzanna Stamirowska 在 The Data Exchange 播客中阐述「后 Transformer」路线:
- BDH 模型:仅 1.5 亿参数,在潜空间(latent space)而非语言空间推理,在 ARC-AGI 上取得成绩,推理成本大幅降低
- 持续学习:通过 fast weights 从经验中学习、维持长期状态,探讨灾难性遗忘问题
- 核心主张:长时程 agent 可能需要与 Transformer 根本不同的架构,追求更高的「每瓦智能」(intelligence per watt)
- 落地方向:企业级专用模型、单机架部署(one-rack models)、开放权重与端侧 AI
「Infra」频道最新
- 哈佛免费开放 CS249r:从芯片到推理的全栈 ML 系统课 — techNmak · 2026-09-27
- SpaceX 全美布局图解:从火箭到 Grok 训练算力的垂直整合帝国 — XFreeze · 2026-09-27
- Swift-1.5-Qwen3.8-27B 量化版冲上 Hugging Face 热榜 — ukisai · 2026-09-27
- 开发者用 DGX Station 让本地模型做 CAD,邀 SF 同好一起 hacking — hudzah · 2026-09-27
- Yacine 罕见表态:对 TensorTorrent 相当看好 — yacineMTB · 2026-09-27
- DeepSeek V5 爆料:2 万亿参数,或首次全部用华为昇腾训练 — teortaxesTex · 2026-09-27