Fleuret 点破一个内存优化技巧:状态记录复杂度直降一个维度
francoisfleuret · x · 2026-11-17
前 Meta/Apple 研究科学家 François Fleuret 在线程中讲解一个他称之为「wonderful trick」的内存优化思路:不要把状态存成每个时间步只含当前分量的形式 S(t)={x1(t),...,xt(t)},而是保留完整历史 S(t)={x1(1),...,xt(t)},从而把内存占用从 O(时间步数 × 状态分量数) 降到 O(时间步数),而这两个量恰恰都希望做大。适合长序列/长期状态建模场景。
所属事件:Fleuret 详解状态记忆优化技巧:开销降一个维度(2 条相关)→
「研究」频道最新
- 复旦 OpenMOSS 发长文:长上下文混合架构学得多却外推弱 — jiqizhixin · 2026-11-17
- 实验发现:让模型写代码时,Opus 97% 调用自家 Claude API — santiviquez · 2026-11-17
- 同一实验:Opus 仅 10/60 回答使用搜索,GPT 模型次次都搜 — santiviquez · 2026-11-17
- 3360 次 API 推荐实验:79% 流向四大云厂商 — santiviquez · 2026-11-17
- 实验动机:检验 agent 推荐工具是否需要人工核实 — santiviquez · 2026-11-17
- 「当 agent 会核实宣称时,最好的产品才会赢」 — santiviquez · 2026-11-17