开源项目 minnow:主打高速的 LLaDA2.2 推理服务器
coder543 · reddit · 2026-09-09
Reddit 用户 coder543 发布了开源项目 minnow,定位为快速的 LLaDA2.2 推理服务器,代码已在 GitHub 上公开。LLaDA 是扩散式语言模型路线,该项目为想要本地部署、自建推理服务的开发者提供了一个服务端实现,适合关注扩散语言模型推理性能与部署的团队参考。
「Infra」频道最新
- 播客热议 Broadcom 定制 ASIC 与 2027 供给瓶颈,兼谈 Nvidia 收购 Hugging Face — BenBajarin · 2026-09-09
- Magnitude 开源 Apple 芯片推理服务器:自动为 Mac 选型调优本地模型 — nickbaumann_ · 2026-09-09
- Cerebras 论文:层 dropout 省四分之一训练算力,推理提速 1.55 倍 — burny_tech · 2026-09-09
- Viettel 三层开源栈统一 GPU 集群,打造 Token-as-a-Service 平台 — PyTorch · 2026-09-09
- 动作每回合都变?把工具 Schema 放最后一条消息保住缓存 — Low_Bad_6585 · 2026-09-09
- PyTorch 成立加速器适配工作组,破局 AI 算力硬件异构难题 — PyTorch · 2026-09-09