实测打脸 Matryoshka:截断 70% 以内并不比普通前缀截断强
srchvrs · x · 2026-10-26
Takeshita 等人的研究发现令人意外:当嵌入维度压缩幅度小于 70% 时,Matryoshka 表示学习(MRL)并不优于直接的前缀截断,只有需要 80% 以上的重度压缩时才有明显优势。
所属事件:研究质疑 Matryoshka 嵌入价值:轻度压缩不优于前缀截断(3 条相关)→
「研究」频道最新
- 2020 年提出的 11 大单细胞挑战至今无一完全解决 — Sauers_ · 2026-10-26
- 实验显示情绪神经元可系统改变模型对歧义新闻的解读 — Sauers_ · 2026-10-26
- MemTensor 开源 MemT-1.0-Nano,基于 Qwen3.6-35B-A3B 做记忆增强 — MemTensor · 2026-10-26
- 数学家拆解 OpenAI 流体奇点论文:用物理不稳定性造出前所未有的光滑外力 — Singularitarian · 2026-10-26
- EMNLP 2026 Findings 论文:让编码 Agent 自主判断何时向人求助 — najoungkim · 2026-10-26
- 新论文:潜学习无需共享基座,偏好也能跨模型隐秘传播 — burny_tech · 2026-10-26