小红书 UniNote 把多模态表征和排序合成一个模型
小红书技术REDtech · wechat · 2026-07-24
小红书技术团队这篇长文介绍了一个面向内容检索的多模态模型 UniNote，目标是把“表示”和“排序”合并到一个统一模型里。
- 场景是小红书笔记这类复杂 UGC：同时包含标题、正文、多张图片和 OCR 文本，需要做工业级 Item-to-Item 检索。
- 传统“召回 + 重排”的两阶段管道被认为延迟高、信息难以流通；UniNote 改成了单模型同时做 embedding 和 ranking。
- 训练上采用两阶段范式：先用 SFT 把多模态模型改造成高质量嵌入器，再用 RL 优化排序质量，并设计了分层奖励函数。
- 另一个重点是 MRL（Matryoshka Representation Learning）：同一个向量可以截断成 64/512/1024/4096 等不同维度，以适配不同成本和时延需求。
- 文中给出的实验结果显示，UniNote 在多数检索任务上都优于强基线，但在更依赖 OCR 的任务上收益相对有限。
- 文章末尾还附了内容结构化、多模态大模型方向的招聘信息。
「公司和人」频道最新
- 企业 AI Agent 仍像是循环、记忆和工具的拼接 — Johannascot · 2026-07-24
- Anthropic 说 Claude 现在写了超过 80% 的合并代码 — nathanbenaich · 2026-07-24
- Agent 时代需要 GPU 原生数据库，而不是更多 CPU 集群 — 智东西 · 2026-07-24
- AI 正在压缩协调成本，但公司未必会消失 — prasanna_says · 2026-07-24
- Cohere 因 7000 多人报名，将 ML Summer School 改到 Twitch 直播 — Cohere_Labs · 2026-07-24
- AI 会议记录工具撞上隐私墙，Teams 也加了“未验证”候厅 — shashib · 2026-07-24