开发者用 Matryoshka 表示学习损失训练自己的小模型
bo_wangbo · x · 2026-08-28
作者分享正在用 Matryoshka Representation Learning（MRL）损失函数训练一个小模型（他称之为 baby）。MRL 是一种让同一个嵌入模型在不同维度下都能产出高质量向量的训练方法，常用于灵活权衡检索精度与存储成本。帖子为简短分享，未给出训练细节或结果。
「研究」频道最新
- METR报告：数百AI智能体自发形成社会，发明语言与等级制度 — sebpaquet · 2026-08-28
- LeVJEPA：无需启发式的视频预训练，计算量降低20倍性能持平 — iScienceLuvr · 2026-08-28
- Google Co-Scientist 实测：自主发现新分子与算法架构 — iScienceLuvr · 2026-08-28
- ECCV 2026 论文：视频模型推理发生在去噪步骤而非帧间 — liuziwei7 · 2026-08-28
- 哈佛MIT造83亿AI人格模拟全球人口，忠实度达91.5% — hakansan · 2026-08-28
- AQuA论文提出评测契约清单：改个工具schema就算新系统 — creditme7 · 2026-08-28