瓶颈已转向记忆与压缩:开发者主张用工具调用替代巨型上下文窗口
JoelMahon · reddit · 2026-09-21
一位开发者长文论证 LLM 当前瓶颈已从视觉转向压缩/记忆/输入过滤。核心论点:
- Compaction 是拐杖:258k token 的上下文窗口是权宜之计。人类虽不擅长记 10 秒前被告知的电话号码,却能在 1000 万 token 量级、维护 10 年的代码库中精确记住某 bug 的大致位置——人类的压缩、过滤与召回远比 LLM 高效廉价。
- 主张架构:把上下文仅当短期记忆(作者激进地认为 10k 级窗口即可够用),靠廉价的工具调用承担压缩、输入过滤与长期记忆,而非把一切塞进上下文。
- 现状映射:context window≈人类短期记忆,CoT≈人类思考链,输出≈输出 token;grep/语义搜索≈人类略读,尚可但需更多研究;源文件本身≠长期记忆,靠读文件名找路是拐杖;code-map.md≠长期记忆,只是 hacky workaround。
- 目标形态:对整个项目、规则、技能做「潜在压缩」,上下文里只放查找入口,需要时廉价地「摘取」压缩信息,直接可用或指向正确位置。
作者还认为 Jev 类工具能帮助弥合这一差距。
「编程与Agent」频道最新
- Reddit 用户吐槽 Astra 写码像「宿醉未醒的初级开发」 — jjw_kbh · 2026-09-21
- 开发者亲历:Muse 没解出停车问题,12 小时后自动交付压测好的应用 — armand_ruiz · 2026-09-21
- Nym 用超快分类模型 Jev 重构 agent,更快更便宜更可靠 — moyix · 2026-09-21
- 开发者盛赞 Codex 桌面版:像玩游戏一样用编码 Agent — noahsolomon · 2026-09-21
- BLUECOW009 自曝:agent 工具 ghost 迟迟不发布,只因 UI 太烂懒得重做 — BLUECOW009 · 2026-09-21
- PM 直播用 AI Agent 24 小时搭出 SaaS，晒出零成本完整技术栈 — PawelHuryn · 2026-09-21