Swift 1.5 比 Qwen3.8 27B 少写三成 token,M5 Max 跑 34.8 tok/s
DerTomsn · reddit · 2026-09-30
作者在 Apple M5 Max 64GB 上用 MLX 通过 llm-bench.io 实测 Swift-1.5-Qwen3.8-27b(262k 上下文、thinking 开到 xhigh),并与原版 Qwen3.8 27B 对比:
- 生成量:Swift 全流程平均 5.1 万 token,Qwen3.8 为 7.7 万,主要省在代码生成(2.86万 vs 4.01万)和研究(1.11万 vs 2.12万)环节;Swift 约 3/4 输出仍是推理内容,只是更精简
- 速度与质量:生成速度 34.6 vs 32.8 tok/s,prompt 处理均约 400 tok/s,LLM judge 质量分 85.8 vs 85.0,在多次运行的方差范围内算打平
- 总耗时:完整基准跑 Swift 平均 24 分钟,Qwen3.8 需 38 分钟
结论:质量持平的前提下,Sweet 因少写冗余推理而快三分之一,作者准备拿它当日常主力模型试几天。文中附了全部 8 次基准运行的原始链接。
「Infra」频道最新
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16
- 博主测算:Colossus 2 的 120 万块 B200 年推理产出可达 4000 亿美元 — bookwormengr · 2026-11-16
- 美国 BIS 新规封堵第三国数据中心远程调用 AI 芯片 — teortaxesTex · 2026-11-16
- Qdrant 1.20.1 发布:冷存储读取减半、量化提速 2 倍 — qdrant_engine · 2026-11-16