Ling-3.0-tiny 发布:1.3B 活跃参数跑赢 GPT-OSS 120B

solyarisoftware · x · 2026-08-11

Ling-3.0-tiny 是一款专为推理、工具调用和智能体设计的开源模型。它采用 128 专家稀疏 MoE 架构，总参数 7.9B，但每 token 激活参数仅 1.3B。

性能跑分：在 Artificial Analysis 上表现优异，GPQA Diamond 得分 73.4，IMO-AnswerBench 达到 71.0，以极小体量超越了 OpenAI 的 GPT-OSS 120B (high)。
本地部署：提供 BF16、FP8 和 INT4 多种权重。其中 INT4 版本仅需约 5.8GB 内存，FP8 在 8K 上下文峰值内存约 8.34 GiB。
推理速度：在 DGX Spark 上可达约 100-105 tok/s，在 M4 Pro MacBook 上约为 86-90 tok/s。
运行支持：目前已支持 SGLang、vLLM 以及 Apple Silicon 的 MLX，llama.cpp / LM Studio 等工具尚待跟进。

「Infra」频道最新