研究者讨论:输入长度直接影响激活稀疏性,盼序列压缩新方法
antoine_chaffin · x · 2026-09-29
antoinechaffin 与网友讨论模型激活稀疏性,指出已有共识:输入序列的长度会直接影响稀疏程度。
他进一步提出一个研究设想:希望有方法能在不损害表征质量的前提下,压缩序列嵌入的长度,从而降低稀疏性开销。
「研究」频道最新
- 意外发现:平均 OCR 注意力头可得高质量可解释性透镜 — benno_krojer · 2026-09-29
- 接触密集型机器人 RL 论文获 IROS workshop 最佳学生论文奖 — GeorgiaChal · 2026-09-29
- saezlab 开源 mc-ASTRA：跨患者与时间点研究组织重塑的 Python 框架 — anshulkundaje · 2026-09-29
- SK 模型采样难题突破:多项式时间算法覆盖 β<1 全区间 — canondetortugas · 2026-09-29
- 实测 Jev 跑推理密集型回归任务:快但准头一般 — dbreunig · 2026-09-29
- Ramez Naam 长文驳智能爆炸：RSI 正在多线遭遇收益递减 — natolambert · 2026-09-29