Hy4 Flash 读 100 万 token:Mac Studio 44 分钟,DGX Spark 81 分钟
AIFlow_ML · x · 2026-11-21
据 @Razumasu 实测,Hy4 Flash 读取 100 万 token 的长 prompt:Mac Studio M3 Ultra 用时 44 分钟,DGX Spark 用时 81 分钟。首次慢读全文后,基于缓存(cache)的后续问答只需约 3 秒:Mac 上 2.8 秒,Spark 上 3.4 秒。
结论是「慢读一次 + 缓存复用」的可行做法——适合把大文档整夜预读后全天秒级查询。作者还发问:你会让机器过夜预读哪份文档?
所属事件:腾讯混元 Hy4 Flash 本地实测:速度与百万 token 加载表现披露(2 条相关)→
「Infra」频道最新
- local-ai-registry:每块 GPU 一份实测验证过的本地模型运行配方 — LiTianleli · 2026-11-21
- Sous Labs 开源 Songe:用闲置算力在本地微调你自己的模型 — alexcovo_eth · 2026-11-21
- AI 供应链调研:2027 算力产能已售罄五到十成,资本开支还将连年大涨 — sudoraohacker · 2026-11-21
- exolabs 曝 agent 自主优化推理引擎:一天内把新模型提速 7 倍至 210 tok/s — simonguozirui · 2026-11-21
- LoRA 替代方案 GCMP 实测:单张 A40 无损服务 256 个适配器不掉速 — textclf · 2026-11-21
- 四台 DGX Spark 一周调优,推理吞吐从 26.85 提到 56.71 tok/s — AIFlow_ML · 2026-11-21