Qwen3.8-27B本地评测:事实提取F1与3.6持平,解码速度降16%
KitchenAmoeba4438 · reddit · 2026-08-15
作者在本地事实提取任务上对比Qwen3.8-27B与Qwen3.6-27B,使用1001条笔记、生产提示词、Q4KM量化等。结果显示Qwen3.8的F1为0.7030,Qwen3.6为0.7177,差异不显著(置信区间包含0),视为平局。解码吞吐从85.6降至72.1 tokens/s(约16%),但Qwen3.8回答更短,端到端延迟更低。作者指出Qwen3.8在训练过的基准上提升巨大,但在其他任务上未见显著增益,质疑基准的有效性。
「模型」频道最新
- anon-1b:用 4chan greentext 微调的 Gemma 开放权重模型 — rickasaurus · 2026-10-16
- 爆料称格局逆转:Astra 6.1 延期,OpenAI 前沿 RL 因安全暂停 — haider1 · 2026-10-16
- Span-02 主打「按截止时间推理」:开放权重决策模型,报告带置信度 — HeyAmit_ · 2026-10-16
- 开发者观察:Clunde 写医疗应用零 bug,娱乐点子却漏洞百出 — repligate · 2026-10-16
- 上海 AI Lab 发布 Intern Lumina U2:单模型统一图像视频 3D 理解与生成 — Shanghai-AI-Laboratory · 2026-10-16
- TWiT 播客拆解 Gemini 4、OpenAI Dots 智能体与 Anthropic IPO 泄露文件 — LouMM · 2026-10-16