UC伯淳发布FreeToken：端侧MoE高效推理系统
UCBerkeley · hf · 2026-08-19
FreeToken 是一个面向边缘端的混合专家模型服务系统。它通过带宽自适应执行，动态地将计算和模型状态映射到异构本地硬件上，从而在个人设备上运行大型开源权重模型。
「Infra」频道最新
- LLM 推理工程教程：从 KV Cache 到 vLLM — techNmak · 2026-08-19
- DFlash 2 发布：MacBook 跑 Qwen3.8-27B 速达 70 tok/s — songhan_mit · 2026-08-19
- NVIDIA H100 全局负载并发响应性能实测 — ssh4net · 2026-08-19
- HBF 替代 SSD 做 KV 缓存被指会烧毁寿命 — zephyr_z9 · 2026-08-19
- 拟建核能初创公司，获超算厂商融资支持 — JacquesThibs · 2026-08-19
- 双 3090 跑 Qwen3.8-27B：vLLM 加 DFlash2 解码飙到 218 tok/s — xjx546 · 2026-08-19