Schmidhuber 详解 1991 年位置编码：1/t 双曲时间衰减沿用至今
SchmidhuberAI · x · 2026-10-06
- Schmidhuber 介绍其 1991 年提出的位置编码：基于 1/t（或 1/Δt）关系，用双曲时间衰减偏置来编码序列顺序，至今仍被广泛使用。
- 他解释其合理性：人类记忆和许多真实物理系统都按幂律遗忘信息；1/t 关系迫使系统优先关注即时局部上下文，而非长程依赖。
- 他还提到 Google 也指出过这一点，作为对当前位置编码设计讨论的回应。
「研究」频道最新
- Uni-LaDiR 用潜空间扩散统一图文 3D 推理，让思维脱离具体模态 — Lianhuiq · 2026-10-06
- 「研究品味每 3 个月翻倍」论文遭质疑：测的其实是指标优化 — dhadfieldmenell · 2026-10-06
- 学者建议狠治论文灌水：每位作者每会限投 1–3 篇 — moarbugs · 2026-10-06
- MoSE3 从单目视频估计像素级 SE(3) 变换，入选 NeurIPS Spotlight — du_yilun · 2026-10-06
- SimEX:让编码智能体借仿真环境自学真实机器人操作技能 — yifengzhu_ut · 2026-10-06
- TabPFN 特征做表格异常检测,ZEN 无微调刷新 ADBench 纪录 — Maximilian Bershtman · 2026-10-06