0.6B 模型基于 Qwen3.5-0.8B 剪枝:仅约 240M 文本激活参数
tomaarsen · x · 2026-10-08
pplx-embed 0.6B 以 Qwen3.5-0.8B 为起点,文本塔从 24 层剪枝到 12 层,总参数 594M,其中文本编码约 240M 激活、图像约 340M;差额主要来自小模型常见的大嵌入表。配合同线程的 BrowseComp+ 结果(9B 检索器使 GPT-OSS-120B agent 达 64.0%,超次优 ColBERT 4.9 分),可看出小模型的规模-质量权衡设计。
所属事件:Perplexity 开源多模态嵌入模型 pplx-embed-v2-late(38 条相关)→
「模型」频道最新
- Epoch发布InnovationEval:AI做出重大创新的能力仍远不达标 — Afinetheorem · 2026-10-08
- 三周冒出 113 个决策模型:七成基于 Qwen,最便宜的不到一厘钱 — jonathanmalkin · 2026-10-08
- 用户实测称 Haiku 5.5 是工作流重大升级 — Sorcerer12345 · 2026-10-08
- OpenRouter 上线决策模型排行榜,typesafeai 包揽全部类目第一 — gaganghotra_ · 2026-10-08
- OpenAI 推出 Intelligent UI,ChatGPT 可快速生成可交互界面作答 — gdb · 2026-10-08
- Claude Haiku 5.5 全线碾压 GPT-6 Luna,长上下文却贵 5 倍 — daniel_mac8 · 2026-10-08