Alex Zhang 提出让模型形状适配 Agent:循环记忆管旧史,免手动压缩
CatAstro_Piyush · x · 2026-10-01
斯坦福研究员 Alex L. Zhang 发文《Language Model "Shape"》，探讨一个反向思路：自 ChatGPT 以来语言模型的输入/输出形状几乎没变过，所有 Agent 设计都是在围绕自回归 decoder-only Transformer 做 harness；他提出是否值得反过来改变模型形状去适配 harness。
要点：
- 改 harness 便宜所以是主流，但摊薄成本看，改模型形状可能更划算
- 现代架构研究只关注层内细节，整体仍是 decoder-only，原因包括其强大灵活、架构选择在 scaling 中价值百万美元、next-token prediction 是对任意文本的自然目标
- 具体设想：用循环记忆处理久远历史、dense attention 处理近期上下文，减少对手动 context compaction 的依赖
「编程与Agent」频道最新
- Cognition CEO Scott Wu 公开否认刺探竞对 Factory 的指控 — dejavucoder · 2026-10-01
- Box CEO：企业 AI 转型将催生前线部署工程师大军 — rohanpaul_ai · 2026-10-01
- Meta-Reasoning 论文:把执行策略纳入推理,ProgramBench 上超 Codex 13.5 分 — anirudhg9119 · 2026-10-01
- Moda Slack Agent 上线:在工作流里直接追问告警与用户意图 — KlausCodes · 2026-10-01
- Cognition 抢下 CoreWeave Vera Rubin NVL72 首单,SWE-2 吞吐提升 4.8 倍 — altryne · 2026-10-01
- LlamaIndex 两城同夜办 agent 文档处理活动,SF 近600人到场 — llama_index · 2026-10-01