研究者讨论 token 剪枝技巧在变长序列下的工程难题
TimDarcet · x · 2026-09-09
giffmana 提问：类似 tokendrop 的 permute+slice 技巧，若用于展示完整层（推测为跳层/裁剪计算），在变长输入下是否可行？
TimDarcet 回应承认此前忽略了该技巧不适用于 packed sequences：要做的话需要 variable-shape kernels，进而会遇到异构分布式计算问题，虽然仍值得探索，但明显比固定 seqlen 场景困难得多。
所属事件:Meta 研究员分享按批次比例丢弃样本的训练提速技巧(3 条相关)→
「研究」频道最新
- 组合多种持续学习机制,百任务记忆保留率从1.2%升至34.9% — DanielKhashabi · 2026-09-09
- OpenAI 用 AI 找到 Navier-Stokes 奇点，千禧年难题证明被拆解 — eigensteve · 2026-09-09
- 数学家控 OpenAI 学术造假，Altman 否认，陶哲轩警告开放科学倒退 — The Decoder · 2026-09-09
- Fleuret：训练的全部理论细节，我们真搞懂了吗？ — francoisfleuret · 2026-09-09
- OpenWAM 开源模块化世界-动作模型,仿真与真机表现俱佳 — OpenWAM · 2026-09-09
- A*-Thought-V2:用隐状态轨迹做高效潜在推理压缩 — Xiaoang Xu · 2026-09-09