9B 与 0.6B 嵌入模型共享向量空间,可用大模型编码小模型检索
tomaarsen · x · 2026-10-08
作者介绍两个尺寸的嵌入模型(9B 与 0.6B)共享同一个嵌入空间:可以用 9B 模型编码整个语料库,再用 0.6B 模型处理查询请求。
- 两者都从同一个 18B 教师模型蒸馏而来,因此单个 token 的嵌入是对齐的,小模型可以直接检索大模型生成的文档向量。
- 基于 Qwen3.5,采用双向注意力,每个 token 保留一个 128 维向量。
- 检索用 MaxSim:取每个查询 token 在文档中的最佳匹配,再把这些分数求和,因此查询的不同部分可以匹配页面的不同部分。
- 在 Sentence Transformers 中通过 model.similarity() 调用。
所属事件:Perplexity 开源图文检索嵌入模型，登顶多项基准(36 条相关)→
「研究」频道最新
- Atomic Machines 用 AI 造「物质编译器」，做指尖大小的微型断路器 — ZoubinGhahrama1 · 2026-10-08
- 研究发现：人类数据集的「签名」会沿用户模型一路污染助手评测 — serinachang5 · 2026-10-08
- LLM 攻破数学难题后，r/Math 版直接删光相关帖子 — burny_tech · 2026-10-08
- LLM 证明梯度下降 Silver Rate 下界，助攻理论突破 — burny_tech · 2026-10-08
- 教授用 Claude 写的 paperpush 自动填期刊投稿表，从此告别表单地狱 — lpachter · 2026-10-08
- OpenAI 整数乘法问题 #109 大幅收紧:较原结果改进 2^104 倍 — aran_nayebi · 2026-10-08