训练 600M 小模型引入滑动注意力窗口与记忆机制的一手实验
KlausCodes · x · 2026-09-26
作者 Ryan Amiri 发布文章《Did you just make that up?》，记录自己训练一个 600M 参数小模型的实验：为模型加入移动注意力窗口和记忆机制，探索 AI agent 能否像人一样记住较早前获得的信息而不需要反复重读笔记。文章以此为切入点讨论模型「编造」与长期记忆的关系，属于难得的一手小规模训练实验复盘。
「编程与Agent」频道最新
- QuackIR 论文：用 DuckDB 等关系数据库替代向量库做 RAG 检索 — lintool · 2026-09-26
- Pipeline 架构核心问题：把确定性边界画在哪里 — aronchick · 2026-09-26
- 唯一在生产中活下来的形状:LLM 提议,规则裁决 — aronchick · 2026-09-26
- 实测 100 组 Terminal-Bench 2.1:Luna 6 反而全面落后 Luna 5.6 — s1lverkin · 2026-09-26
- Qwen3.8-Omni-Flash 发布：全模态 Agent，百万 token 上下文 — dair_ai · 2026-09-26
- 开源工具 Que:把等你操作的多个 Agent 会话排成一条队列 — Glad_Raspberry_6795 · 2026-09-26