0.6B 模型基于 Qwen3.5-0.8B 剪枝:仅约 240M 文本激活参数

tomaarsen · x · 2026-10-08

pplx-embed 0.6B 以 Qwen3.5-0.8B 为起点,文本塔从 24 层剪枝到 12 层,总参数 594M,其中文本编码约 240M 激活、图像约 340M;差额主要来自小模型常见的大嵌入表。配合同线程的 BrowseComp+ 结果(9B 检索器使 GPT-OSS-120B agent 达 64.0%,超次优 ColBERT 4.9 分),可看出小模型的规模-质量权衡设计。

所属事件:Perplexity 开源多模态嵌入模型 pplx-embed-v2-late(38 条相关)→

原文链接 →

「模型」频道最新

更多「模型」频道 AI 资讯 →