SemiAnalysis 深挖位置编码:放宽数学约束后的更广嵌入空间
burny_tech · x · 2026-09-13
- Attention 本身没有时间概念,位置嵌入是大模型判断 token 距离的唯一机制。
- Jane Street 与 3Blue1Brown 近期在 YouTube 上合作视频,系统梳理了满足常见数学约束(如单调性、平移一致性)的嵌入空间,并指出这一空间在 ML 文献中已有充分研究。
- SemiAnalysis 这条线程进一步追问:如果放宽这些常识性约束,是否存在更一般的位置函数空间?作者准备展开实验探索(系列第 1/7 条)。
「模型」频道最新
- GPT-6 Astra 视觉能力登顶,实测力压 Gemini 3.8 Flash — Roger_M_Taylor · 2026-09-13
- Devin SWE-2 首日实测：速度快、价格友好，续航不及 Codex — CtrlAltDwayne · 2026-09-13
- 实测对比:Gemini 集成测试挂,Grok/Kimi 易漏需求 — zainhas · 2026-09-13
- 约11美元/百万token:去中心化训练新模型推理优化曝光 — bittingthembits · 2026-09-13
- 开发者玩转字符级模型:免 retokenization bug、随意字符串处理 — cephaloform · 2026-09-13
- 用户称模型在会话标题混入中文，被质问后坚称是亚美尼亚语 — hydralisk_hydrawife · 2026-09-13