SemiAnalysis 深挖位置编码:放宽数学约束后的更广嵌入空间
burny_tech · x · 2026-09-13
- Attention 本身没有时间概念,位置嵌入是大模型判断 token 距离的唯一机制。
- Jane Street 与 3Blue1Brown 近期在 YouTube 上合作视频,系统梳理了满足常见数学约束(如单调性、平移一致性)的嵌入空间,并指出这一空间在 ML 文献中已有充分研究。
- SemiAnalysis 这条线程进一步追问:如果放宽这些常识性约束,是否存在更一般的位置函数空间?作者准备展开实验探索(系列第 1/7 条)。
「模型」频道最新
- 曝 Gemini 4 Carbon 实测:比 Opus 5.5 便宜 3 倍、快一倍以上 — vitaliychiley · 2026-10-31
- 4B 小模型 Spark-X2.6 跑出 94.6 分,反超多个 27B-35B 热门模型 — mesolimbic-bliss · 2026-10-31
- opencode 晒账单:$100 就能用上 DeepSeek V4.1 Flash — intellectronica · 2026-10-31
- 开发者称发现 LLM 内核代码 600+ 漏洞,Claude 以安全为由拒答 — pmddomingos · 2026-10-31
- Signal65 实测:Snowflake CoCo 智能体完成工作流快 4.6 倍 — ryanshrout · 2026-10-31
- Mistral Large 4：与 GLM 编码持平但省 47% token，再把预览价砍半 — petrusenko_max · 2026-10-31