本地推理基石 ggml 发布 v1.0.0,告别长期 0.x 版本
cobychapple · hn · 2026-11-14
支撑 llama.cpp 等本地推理生态的底层张量库 ggml 正式发布 v1.0.0,结束了漫长的 0.x 版本阶段。作为 llama.cpp、Whisper.cpp 等众多项目共用的核心库,1.0 意味着 API 趋于稳定,是本地 AI 生态的一个标志性节点。
「Infra」频道最新
- MLX 经 Vulkan 跑出 124 tok/s,同卡速度反超 CUDA 25% — SumitGup · 2026-11-22
- Prime Intellect 遭入侵:托管 DeepSeek 被换成「去审查版」53 小时 — mawcopolow · 2026-11-22
- Token 经济模型:API 支出四年或增 11.5 倍,但仅 1% 用户能撑起算力账单 — AccBalanced · 2026-11-22
- 零质量损失跑 Strata:调 layer_split 后 CPU 专家未命中率 22% 降至 12% — PathfinderTactician · 2026-11-22
- llama.cpp Vulkan 修复 PR 让 Inkling 2 Mini 推理提速 2.3-3.2 倍 — pmttyji · 2026-11-22
- 千元级 V100 32G 实测 Qwen 27B 量化:Q4_K_M 生成快 48%,Q8_0 预填快 16% — PuzzleheadedArm3732 · 2026-11-22