François Fleuret:这一技巧让记忆开销从双线性降到 O(时间步数)
francoisfleuret · x · 2026-11-17
François Fleuret 在线程中讨论一种记忆优化技巧:它把状态存储开销从 O(时间步数 × 状态组件数)降到 O(时间步数),两个维度都可以做大,是很巧妙的做法。但他同时指出关键局限:无法用后到的信息改写/更新来自过去的状态组件,因此更一般地无法用它实现一个「真正的」RNN。
所属事件:Fleuret 详解状态记忆优化技巧:开销降一个维度(2 条相关)→
「研究」频道最新
- NeurIPS 第八届机器人学习工作坊将辩「Physical AI 能否真零样本」 — m_wulfmeier · 2026-11-17
- Fleuret 拆解 Transformer 根本局限:序列与 token 索引的内部状态机制 — francoisfleuret · 2026-11-17
- Fleuret 点破一个内存优化技巧:状态记录复杂度直降一个维度 — francoisfleuret · 2026-11-17
- 复旦 OpenMOSS 发长文:长上下文混合架构学得多却外推弱 — jiqizhixin · 2026-11-17
- 实验发现:让模型写代码时,Opus 97% 调用自家 Claude API — santiviquez · 2026-11-17
- 同一实验:Opus 仅 10/60 回答使用搜索,GPT 模型次次都搜 — santiviquez · 2026-11-17