UkisAI压缩推理token:GLM-5.3-Flash省61.4%思考token,精度仅降0.46%
Secure_Recording_472 · reddit · 2026-10-30
UkisAI 发布 Swift 1.5 系列两个 token 效率优化模型，思路是识别与“病态过度思考”相关的 token 并加以惩罚，不直接压缩推理长度，再通过 RL 和 on-policy distillation 后训练恢复精度：
- Swift1.5 GLM-5.3-Flash：MMLU-PRO 思考 token -61.4%，全基准平均精度损失仅 -0.46%，每个基准跑 5 个种子验证（覆盖 Terminal-Bench 2.1、GPQA-Diamond、AIME 2026、LiveCodeBench v6 等）。发布 1-8bit GGUF、W4A16 AWQ、NVFP4 等量化；其 Q3 GSQ-RCO 初步评估达到同尺寸 SOTA，评估完成后发布。
- Swift1.5 Ornith-9B：思考 token -33.5%、精度无损，过度思考循环减少约 2 倍，不易卡死不输出。
两个模型兼容各自的 MTP/DFLASH2 head。团队还预告正在评估 Swift DeepSeek v4.1 Flash 1017，并在自研预训练基座，1B 和 4B 模型预计 2026 年 11 月发布。数据集已放 Hugging Face。
「Infra」频道最新
- Crusoe 以 310 亿美元估值融资：从油田烧气挖矿到 AI 数据中心 — nathanbenaich · 2026-10-30
- AWS 年化营收达 1840 亿美元,同比增长 39.3% — RihardJarc · 2026-10-30
- 美国数据中心与计算机投资超住房建设 50%，成第一大投资类别 — HaydnBelfield · 2026-10-30
- SanDisk 高带宽闪存 HBF:单 GPU 3TB、多 TB 读取,为何无人关注 — Zombiecidialfreak · 2026-10-30
- 内存搬运比计算贵 100 倍，本地推理为何低效的一课 — cis_female · 2026-10-30
- Sam Altman 称自复制数据中心已触手可及，算力能源人力三瓶颈可解 — kimmonismus · 2026-10-30