浏览器跑30B大模型达32 tok/s,本地AI迎来质变
MaziyarPanahi · x · 2026-08-12
开发者实测在Mac Studio上通过Chrome浏览器完全加载量化后的30B稠密模型,实现了惊人的32 tok/s生成速度。该模型成功在本地运行了包含PII检测和临床NER等任务的复杂医疗AI流水线,展示了端侧AI推理能力的巨大飞跃。
所属事件:Muse Glimmer 30B实测:端侧多模态智能体新标杆(14 条相关)→
「Infra」频道最新
- RTX 3060 32GB 本地跑视频生成实测:性能与工作流探讨 — Nakidka · 2026-08-12
- Krea-2-Turbo推量化版,最低6GB显存可跑图 — ali_byteshape · 2026-08-12
- 英伟达正加速打造“合成超大规模云厂商” — firstadopter · 2026-08-12
- 专家警示:6英寸晶圆无法完全解决光通信规模化制造难题 — BenBajarin · 2026-08-12
- AI算力热潮推高概念股,TL20指数年内涨幅达59% — TiernanRayTech · 2026-08-12
- Vercel 实战:每分钟 6000 次部署下如何平滑迁移核心数据库 — evilrabbit_ · 2026-08-12