halogen 0.12.0 让 Strix Halo 跑百万上下文解码提速至 38 tok/s
peonist-ai · reddit · 2026-09-20
peonist-ai 发布 halogen-flash-server 0.12.0，修复了长上下文下性能退化的问题，在 AMD Ryzen AI Max+ 395（128GB，Strix Halo）上跑 Qwen3.8-Flash-Next 的 100 万上下文实测。
- 100 万 token 上下文解码速度从 27.3 提到 38.3 tok/s（默认投机草稿）；258,794 上下文从 42.9 到 45.0 tok/s
- 百万上下文预填充从 790 提到 937 tok/s，冷请求耗时从 21.2 分钟降到 17.9 分钟；256k 预填充 1,086→1,114 tok/s
- 命中 prompt cache 的后续轮次 100 万上下文首 token 约 0.55 秒
- 配置方法：在 podman 命令加 HALOGENROPEYARN=4 和 HALOGENCTX=1048576，需 128GB 内存的机器；代码与完整数据表开源在 GitHub
「Infra」频道最新
- SurrealDB 4 发布：多模型数据库瞄准 Agentic 时代 — Scobleizer · 2026-11-04
- 台松新竹多层材料厂凌晨大火爆炸，CCL 供应恐进一步吃紧 — zephyr_z9 · 2026-11-04
- AMD CEO 苏姿丰：预计 2027 年营收增长超 80%，数据中心占比超八成 — AccBalanced · 2026-11-04
- 自我改进软件不可避免：让应用读取自身信号并自动修复 — bibryam · 2026-11-04
- 技嘉推 AI TOP 主板：最高 2TB 内存、可装 9 张 GPU 跑本地 AI — vincent_koc · 2026-11-04
- 攒 7 卡 132GB 显存本地推理机：EPYC 整合还是双平台？ — infectiousstupidity · 2026-11-04