smolbenchmark:按你的 8GB 硬件实测选出最合适的小模型
East-Muffin-6472 · reddit · 2026-09-12
- 主流模型排行榜默认服务器级 GPU,作者推出 smolbenchmark,专注能塞进 8GB 内存的模型,按解码速度、tokens/焦耳、发热排序。
- 覆盖平板、手机、Mac、Jetson、树莓派等设备,目前已有 13 个模型家族,Jetson nano Orin Super 8GB 上约 1,000 组配置;一台设备实时测量 tok/s、tok/J、ITL、延迟、功耗、温度与电池。
- 数据与详细报告全部公开,树莓派、手机和 Mac mini 的数据还在补充中,项目处于早期开发阶段征求反馈。
「Infra」频道最新
- 研究者为 SGLang 写 200+ 条属性约束，找出 10 个推理缺陷 — LingmingZhang · 2026-10-31
- 闭门夜话:AI 时代数据库与队列等经典基建更重要而非更次要 — graceisford · 2026-10-31
- Lux Capital 牵头闭门夜话:Cognition 与 Modal 谈 AI 基建与安全 — graceisford · 2026-10-31
- FastVideo 适配 DGX Spark：aarch64 + CUDA 13 无 wheel 也能装 — victormustar · 2026-10-31
- 客户要 P 核:Intel 把 18A 产能转往 Intel 3 扩产 Granite Rapids — zephyr_z9 · 2026-10-31
- Modal 推出 Sticky Sessions:无服务器容器也能保住会话状态 — graceisford · 2026-10-31