替代语言模型架构讨论
msharmas · x · 2026-07-19
Bangalore Paper Club 第二期聚焦“语言模型的替代架构”。发帖人认为，扩展规模更像算力游戏，而架构创新更像思路游戏；如果前沿被重新定义，不会只是堆更多层，而是重新设计现有层。\n\n现场分享了 4 篇内容：\n- **LLaDA**：Large Language Diffusion Model\n- **TwoTower**：面向扩散语言模型的新架构\n- **CLEGR**：图文模型的新基准\n- **Dognosis**：利用犬类嗅觉进行癌症检测\n\n作者的主要感受是：做 diffusion language models 的人比预想中更多，这也是组织 paper club 的价值——把正在形成中的方向拉到同一张桌子上讨论。