作者实测 Gemma 4B 本地跑 agent 基准,得分 2/5 未达 Extended 模式
draginol · x · 2026-11-08
draginol 用其发布的本地 AI 基准测试 4B 模型(gemma-4-E4B-it-qat-q40,经 Locama 引擎)能否完成复杂工作。基准内建三档测试:Simple(约80项分类)、Normal(把销售 CSV 做成可用的 dashboard)、Extended(虚拟工作区里的多步 agent 任务,15-20分钟)。截图判定显示:该 4B 模型在 Extended 模式得分 2/5、解码 61.5 tok/s,未达到 4/5 任务且 15 tok/s 的门槛,结论是「还不适合 Extended 模式」。基准还评测 agent 任务通过率、prefill、首 token、总时长与峰值内存。
「模型」频道最新
- giffmana 质疑缩放论文零节省:无缩放趋势也无 FLOPs 对齐 — giffmana · 2026-11-08
- MaxxBench 遭批:刻意混淆刷榜与模型真实适应能力 — teortaxesTex · 2026-11-08
- Berton 质疑 JEPA 规模化前景:LeJEPA 比 JEM 更早进入平台期 — gabriberton · 2026-11-08
- 爆料称 OpenAI 直到全新预训练完成后才发布 GPT-6 Astra — haider1 · 2026-11-08
- 1B-8B 六个开源模型实验:持续预训练能否更新模型事实知识 — burkov · 2026-11-08
- 博主预测:明年将有 1000 tokens/秒的 GPT-6.2 级智能 — ChrisGPT · 2026-11-08