Ling 3.0-flash-VL 支持合入 llama.cpp:124B 参数仅激活 5.5B

jacek2023 · reddit · 2026-09-24

inclusionAI 的 Ling-3.0-flash-VL 已有 PR 合入 llama.cpp（#29151），继承 Ling-3.0-flash 的语言、推理与长上下文能力，并新增原生图像与视频理解。
关键规格：总参数 124B，每 token 仅激活 5.5B，上下文窗口最高 256K tokens。
架构亮点：
ViT 视觉编码器 + 两层 MLP 投影器，对齐视觉与文本表征；
VideoRoPE 同时编码空间位置与时间顺序，支持事件定位、长视频问答、视频片段编辑；
42 层混合骨干按 5:1 交替 KDA 与 Gated MLA 层，高效处理文本/图像/视频/长 agent 任务历史；
稀疏 MoE 在保持 124B 容量的同时大幅降低推理成本。

「Infra」频道最新