kalomaze 猜想：深度序列模型可模拟低秩注意力 LoRA 训练行为
kalomaze · x · 2026-11-03
kalomaze 延续其对 ICL 与训练步关系的讨论，提出猜想：一个足够深的序列模型或许能在对数概率偏移意义上模拟某些受限训练家族（如仅注意力的 rank-1 LoRA）在序列化样本上的行为。他认为要做到这一点，需要刻意的 KL 蒸馏才能引出「ICL 表现得像对独立样本执行训练步」的现象，而目前社区并未有意朝这个方向推进。
所属事件:研究者激辩：上下文学习与持续学习的边界在哪里(6 条相关)→
「研究」频道最新
- Periodic Labs 将在 SGLang Summit 分享物理实验 RL 基础设施实践 — hsu_byron · 2026-11-03
- Weight-Space 编程测试：开源模型在 Writing Weights 任务上集体失利 — eliebakouch · 2026-11-03
- AI 经济格局变化太快,趋势判断需要每周重新校准 — perilli · 2026-11-03
- NVIDIA 博客拆解 KV cache 压缩为何在 vLLM 生产环境失灵 — blaizedsouza · 2026-11-03
- 90页综述：统计估计正被上下文吸收，统一视角看基础模型 — anshulkundaje · 2026-11-03
- 变分线性注意力 VLA：用固定大小记忆替代无限增长的注意力缓存 — its_vayishu · 2026-11-03