浏览器跑30B大模型达32 tok/s,本地AI迎来质变

MaziyarPanahi · x · 2026-08-12

开发者实测在Mac Studio上通过Chrome浏览器完全加载量化后的30B稠密模型,实现了惊人的32 tok/s生成速度。该模型成功在本地运行了包含PII检测和临床NER等任务的复杂医疗AI流水线,展示了端侧AI推理能力的巨大飞跃。

所属事件:Muse Glimmer 30B实测:端侧多模态智能体新标杆(14 条相关)→

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →